Последние месяцы стали захватывающим временем для семейства открытых моделей Gemma. Мы представили Gemma 3 и Gemma 3 QAT, обеспечив передовую производительность для облачных и десктопных ускорителей. Затем мы анонсировали полный релиз Gemma 3n, архитектуры, ориентированной на мобильные устройства, которая приносит мощный мультимодальный ИИ в реальном времени прямо на периферийные устройства. Наша цель — предоставить разработчикам полезные инструменты для создания ИИ-решений, и мы продолжаем восхищаться активным сообществом Gemmaverse, которое вы помогаете создавать, вместе отмечая достижение отметки в 200 миллионов загрузок на прошлой неделе.
Сегодня мы добавляем новый высокоспециализированный инструмент в набор Gemma 3: Gemma 3 270M, компактную модель с 270 миллионами параметров, разработанную с нуля для специфической тонкой настройки задач, с уже обученными возможностями следования инструкциям и структурирования текста.
Gemma 3 270M привносит мощные возможности следования инструкциям в модель с малым размером. Как показано бенчмарком IFEval (который тестирует способность модели следовать проверяемым инструкциям), она устанавливает новый уровень производительности для своего размера, делая сложные ИИ-возможности более доступными для устройств и исследовательских приложений.
Ключевые возможности Gemma 3 270M
- Компактная и мощная архитектура: Наша новая модель имеет в общей сложности 270 миллионов параметров: 170 миллионов параметров эмбеддинга из-за большого размера словаря и 100 миллионов для трансформерных блоков. Благодаря большому словарю из 256 тысяч токенов, модель может обрабатывать специфические и редкие токены, что делает её сильной базовой моделью для дальнейшей тонкой настройки в определённых доменах и языках.
- Экстремальная энергоэффективность: Ключевое преимущество Gemma 3 270M — низкое энергопотребление. Внутренние тесты на SoC Pixel 9 Pro показали, что INT4-квантованная модель использовала всего 0,75% заряда батареи для 25 диалогов, что делает её нашей наиболее энергоэффективной моделью Gemma.
- Следование инструкциям: Инструкционно-настроенная модель выпускается вместе с предобученным чекпоинтом. Хотя эта модель не предназначена для сложных разговорных сценариев, она является мощной моделью, которая следует общим инструкциям сразу после развёртывания.
- Готовность к производственному квантованию: Доступны Quantization-Aware Trained (QAT) чекпоинты, позволяющие запускать модели с INT4-точностью с минимальной деградацией производительности, что важно для развёртывания на устройствах с ограниченными ресурсами.
Правильный инструмент для задачи
В инженерии успех определяется эффективностью, а не только сырой мощностью. Вы не стали бы использовать кувалду, чтобы повесить картину. Тот же принцип применим и к созданию ИИ.
Gemma 3 270M воплощает эту философию «правильного инструмента для задачи». Это высококачественная базовая модель, которая хорошо следует инструкциям из коробки, и её истинная сила раскрывается через тонкую настройку. После специализации она может выполнять задачи, такие как классификация текста и извлечение данных, с замечательной точностью, скоростью и экономической эффективностью. Начиная с компактной и способной модели, вы можете создавать производственные системы, которые являются лёгкими, быстрыми и значительно дешевле в эксплуатации.
Реальный пример успеха
Сила этого подхода уже принесла невероятные результаты в реальном мире. Идеальный пример — работа, выполненная Adaptive ML с SK Telecom. Столкнувшись с задачей тонкой многозадачной модерации контента, они выбрали специализацию. Вместо использования массивной универсальной модели Adaptive ML настроила модель Gemma 3 4B. Результаты были ошеломляющими: специализированная модель Gemma не только соответствовала, но и превзошла производительность гораздо более крупных проприетарных моделей на своей конкретной задаче.
Gemma 3 270M разработана, чтобы позволить разработчикам продвинуться ещё дальше в этом подходе, открывая ещё большую эффективность для чётко определённых задач. Это идеальная отправная точка для создания флота небольших специализированных моделей, каждая из которых является экспертом в своей задаче.
Но эта сила специализации не только для корпоративных задач; она также позволяет мощные креативные приложения. Например, ознакомьтесь с этим веб-приложением генератора сказок на ночь.
Gemma 3 270M использовалась для питания веб-приложения генератора сказок на ночь с использованием Transformers.js. Размер и производительность модели делают её подходящей для офлайн-веб-креативных задач. (Автор: Джошуа (@xenovacom в X) из команды Hugging Face)
Когда выбирать Gemma 3 270M
Gemma 3 270M наследует передовую архитектуру и надёжное предобучение коллекции Gemma 3, предоставляя прочную основу для ваших пользовательских приложений.
Вот когда это идеальный выбор:
- У вас есть высокообъёмная, чётко определённая задача. Идеально для функций, таких как анализ настроений, извлечение сущностей, маршрутизация запросов, обработка неструктурированного в структурированный текст, креативное письмо и проверки соответствия.
- Вам нужно считать каждую миллисекунду и микроцент. Кардинально сократите или устраните ваши затраты на вывод в производстве и предоставьте более быстрые ответы вашим пользователям. Настроенная модель 270M может работать на лёгкой, недорогой инфраструктуре или прямо на устройстве.
- Вам нужно быстро итерировать и развёртывать. Малый размер Gemma 3 270M позволяет проводить быстрые эксперименты по тонкой настройке, помогая найти идеальную конфигурацию для вашего случая использования за часы, а не дни.
- Вам нужно обеспечить конфиденциальность пользователей. Поскольку модель может работать полностью на устройстве, вы можете создавать приложения, которые обрабатывают чувствительную информацию, никогда не отправляя данные в облако.
- Вы хотите флот специализированных моделей задач. Создавайте и развёртывайте множество пользовательских моделей, каждая из которых экспертно обучена для разных задач, не нарушая ваш бюджет.
Начните с тонкой настройки
Мы хотим сделать максимально простым превращение Gemma 3 270M в ваше собственное решение. Она построена на той же архитектуре, что и остальные модели Gemma 3, с рецептами и инструментами для быстрого старта. Вы можете найти наше руководство по полной тонкой настройке с использованием Gemma 3 270M как часть документации Gemma.
- Скачайте модель: Получите модели Gemma 3 270M с Hugging Face, Ollama, Kaggle, LM Studio или Docker. Мы выпускаем как предобученные, так и инструкционно-настроенные модели.
- Попробуйте модель: Попробуйте модели на Vertex AI или с популярными инструментами вывода, такими как llama.cpp Gemma.cpp, LiteRT, Keras и MLX.
- Начните тонкую настройку: Используйте ваши любимые инструменты, включая Hugging Face, UnSloth и JAX.
- Разверните ваше решение: После тонкой настройки вы можете развернуть вашу специализированную модель где угодно, от вашей локальной среды до Google Cloud Run.
Gemmaverse построена на идее, что инновации бывают всех размеров. С Gemma 3 270M мы даём возможность разработчикам создавать умнее, быстрее и более эффективные ИИ-решения. Мы с нетерпением ждём, чтобы увидеть специализированные модели, которые вы создадите.