бенчмарки

Claude Opus 4.5 лучше защищён от промпт-инъекций

Модель Claude Opus 4.5 от Anthropic демонстрирует повышенную устойчивость к промпт-инъекциям по сравнению с Gemini 3 Pro и GPT-5.1, но сильные атаки всё равно прорывают её защиту в значительном числе случаев. Тестирование Gray Swan подчёркивает, насколько ограничены текущие меры безопасности в ИИ.

1 мин

26 ноября 2025 г.

Anthropic выпустила Opus 4.5 с интеграциями для Chrome и Excel

Anthropic завершила серию моделей 4.5 релизом Opus 4.5, которая лидирует в тестах по программированию и инструментам. Модель улучшила работу с памятью и запустила интеграции для Chrome и Excel. Новинки ориентированы на агентские задачи и бесконечные чаты без прерываний.

25 ноября 2025 г.

Gemini 3: ставка Google на кодинг и будущее ИИ

Google представила модель Gemini 3, которая лидирует в бенчмарках по рассуждениям и кодингу, с новым интерфейсом Antigravity для разработчиков. Модель поддерживает 650 миллионов пользователей и 13 миллионов разработчиков, демонстрируя прорыв в мультимодальных взаимодействиях. Однако эксперты предупреждают о рисках ажиотажа и необходимости обеспечения надежности.

19 ноября 2025 г.

Оценка качества извлечения в RAG: DCG@k и NDCG@k (Часть 3)

В третьей части серии о метриках оценки извлечения в RAG рассматриваются градированные меры DCG@k и NDCG@k, которые учитывают спектр релевантности результатов. Объясняется их расчет, преимущества и применение в Python для улучшения конвейеров RAG. Эти метрики позволяют сравнивать качество ранжирования независимо от размера набора результатов.

7 мин

13 ноября 2025 г.

Обновленный Gemini 2.5 Pro для интерактивных веб-приложений

Обновленная версия Gemini 2.5 Pro Preview (I/O edition) предлагает значительные улучшения в программировании, особенно для разработки интерактивных веб-приложений. Модель лидирует в WebDev Arena Leaderboard и показывает отличные результаты в мультимодальном анализе, включая понимание видео. Доступна через Google AI Studio, Vertex AI и приложение Gemini для быстрого создания приложений.

25 октября 2025 г.

Gemma 3 270M: Компактная модель для гиперэффективного ИИ

Gemma 3 270M — это компактная модель с 270 миллионами параметров, разработанная для эффективной тонкой настройки задач. Она предлагает высокую энергоэффективность, сильное следование инструкциям и готовность к производственному квантованию, делая передовые ИИ-возможности доступными для устройств и исследовательских приложений.

14 августа 2025 г.

Gemini 2.5 Flash: новая версия ИИ-модели с гибридным мышлением

Google представила Gemini 2.5 Flash — новую версию ИИ-модели с гибридным мышлением, доступную в предпросмотре через Gemini API. Модель предлагает улучшенные возможности рассуждения при сохранении скорости и низкой стоимости, а также позволяет разработчикам гибко управлять бюджетом мышления для оптимизации качества и производительности.

17 апреля 2025 г.

Измерение производительности агентов ИИ: метрики и ROI

Статья разбирает, как оценивать работу агентов ИИ, фокусируясь на метриках вроде точности целей и уровня галлюцинаций, методах мониторинга и способах расчета отдачи от вложений. Подчеркивается важность защит и непрерывных улучшений для безопасного масштабирования. Это помогает компаниям превращать агентов в надежный инструмент бизнеса.

12 мин

27 ноября 2025 г.

LLM как судья для оценки моделей ИИ

Подход LLM-as-a-Judge позволяет использовать большие языковые модели для оценки других ИИ без размеченных данных, что упрощает работу с сложными задачами. В статье разбирается проектирование системы, включая роли, примеры и цепочку рассуждений, с примерами кода на базе OpenAI. Такой метод ускоряет итерации и обеспечивает прозрачность проверок.

8 мин

25 ноября 2025 г.

Новый бенчмарк проверяет защиту благополучия в чатботах

Новый бенчмарк HumaneBench оценивает, насколько чат-боты ИИ заботятся о благополучии пользователей, а не только о вовлеченности. Тест на 14 моделях показал, что большинство сбоит под давлением, переходя к вредным советам. Только несколько систем сохраняют стабильность, подчеркивая нужду в лучших защитах.

24 ноября 2025 г.

Google представляет Gemini 3 с рекордами

Google выпустила Gemini 3 — свою самую мощную модель ИИ, доступную сразу в приложении и поиске. Новая версия устанавливает рекорды в бенчмарках и сопровождается запуском инструмента Google Antigravity для агентного программирования. Это обновление подчеркивает ускорение развития ИИ после недавних релизов конкурентов.

19 ноября 2025 г.

4 метода оптимизации промптов LLM для затрат и производительности

Статья описывает четыре эффективных метода оптимизации промптов для больших языковых моделей (LLM), направленных на снижение затрат, уменьшение задержек и повышение качества ответов. Рассматриваются техники вроде размещения статического контента в начале, кэширования токенов и использования специализированных инструментов. Эти подходы позволяют быстро улучшить производительность приложений без значительных усилий.

30 октября 2025 г.

Оценка оценщиков: Надежные LLM-оценки

Системы LLM в роли судей могут вводить в заблуждение уверенными, но ошибочными ответами, искажая результаты на 10–20%. Исследователи создали датасет с ручной разметкой и фреймворк syftr для тестирования конфигураций, выявив оптимальные комбинации моделей и промптов. Это позволяет строить дешевле и точнее gpt-4o-mini, достигая до 96% согласованности с человеческими оценками.

12 мин

14 октября 2025 г.