Квантование

3 публикации по теме

Квантование

Модель Tencent на 440 МБ переводит 33 языка оффлайн на смартфоне

Tencent опубликовала открытую модель ИИ Hy-MT1.5-1.8B-1.25bit объемом 440 МБ для оффлайн-перевода 33 языков на смартфонах. Она конкурирует с Google Translate и крупными моделями вроде Qwen3-32B благодаря сжатию до 1,25 бита на параметр без потери качества. Доступно демо-приложение для Android и 30 побед в конкурсах.

Google представил TurboQuant — алгоритм сжатия памяти ИИ, интернет шутит про Pied Piper

Google представил TurboQuant — алгоритм сжатия KV-кэша ИИ минимум в 6 раз без потери качества. Технология использует PolarQuant и QJL, её покажут на ICLR 2026. Интернет шутит про сходство с Pied Piper из "Кремниевой долины", но это пока лабораторный прорыв для inference.

2 мин

26 марта 2026 г.

Статьи

Само-хостинг LLM на практике: проблемы и уроки

Статья описывает реальные трудности локального запуска LLM: от нехватки VRAM и задержек до проблем с промптами и дообучением. Подробно разобраны обходные пути вроде квантизации, оптимизации контекста и тестирования шаблонов. Само-хостинг требует инвестиций в железо и методичный подход, но даёт полный контроль.

6 мин

29 апреля 2026 г.

Показаны все статьи (3)

Квантование

Модель Tencent на 440 МБ переводит 33 языка оффлайн на смартфоне

Google представил TurboQuant — алгоритм сжатия памяти ИИ, интернет шутит про Pied Piper

Само-хостинг LLM на практике: проблемы и уроки

Сейчас в тренде

Популярные темы