бенчмарки

138 публикаций по теме

бенчмарки

Qwen3.6 от Alibaba лидирует над Gemma 4 в тестах кодинга

Alibaba выпустила открытую модель Qwen3.6-35B-A3B на базе MoE, которая активирует лишь 3 млрд параметров из 35 млрд и обходит Gemma 4 от Google по всем бенчмаркам агентного кодинга. Она лидирует также в тестах рассуждений и конкурирует с Claude Sonnet 4.5 в мультимодальных задачах. Модель доступна для теста и скачивания на популярных платформах.

1 мин

10 часов назад

Новости

Google Gemini 3.1 TTS — самая выразительная модель с 70+ языками

Google запустила модель синтеза речи Gemini 3.1 Flash TTS — самую естественную с аудиотэгами для контроля стиля и поддержкой 70+ языков. Она занимает топовые места в рейтингах Artificial Analysis с Elo 1211, обходя ElevenLabs v3. Доступна бесплатно в AI Studio с пометкой SynthID.

2 мин

15 апреля 2026 г.

Новости

AI Index 2026: прорывы ИИ, риски безопасности и спад доверия

Отчет AI Index 2026 от Stanford HAI отмечает скачки производительности ИИ-моделей, которые опережают людей в сложных задачах, и сближение США с Китаем. Параллельно растут проблемы безопасности, падает доверие общества, а внедрение в бизнес и образование сталкивается с барьерами. Эксперты оптимистичны насчет влияния на рынок труда, в отличие от большинства людей.

4 мин

14 апреля 2026 г.

Новости

Навыки ИИ-агентов блестят в бенчмарках, но дают сбой в реальных условиях

Исследование протестировало 34 тысячи реальных навыков ИИ-агентов: в реалистичных условиях они дают минимальный прирост, а слабые модели работают хуже. Проблемы в выборе, поиске и адаптации; уточнение помогает лишь при сильной базе. Ранние тесты Vercel подтвердили: агенты часто игнорируют навыки.

8 мин

12 апреля 2026 г.

Новости

ИИ-модели предпочитают гадать, а не просить помощи

Бенчмарк ProactiveBench показал: из 22 мультимодальных ИИ-моделей почти ни одна не просит помощи при нехватке визуальных данных, предпочитая ошибаться. Дообучение с подкреплением GRPO поднимает точность до 38,6%, но проблема неопределенности остается острой. Исследователи открыли код бенчмарка для дальнейшей работы.

6 мин

11 апреля 2026 г.

Новости

Команда Bing открыла модель эмбеддингов Harrier

Команда Bing от Microsoft открыла модель эмбеддингов Harrier, возглавившую бенчмарк MTEB v2 и обошедшую OpenAI с Amazon. Поддерживает 100+ языков, контекст 32k токенов, обучена на 2 млрд примеров с данными GPT-5. Доступны версии 27B, 0.6B и 270M на Hugging Face.

2 мин

7 апреля 2026 г.

Новости

Nvidia обновила рекорды MLPerf на 288 GPU, AMD и Intel в своих нишах

MLCommons выпустила результаты MLPerf Inference v6.0 с новыми мультимодальными тестами: Nvidia лидирует с 288 GPU и 2,7x софт-оптимизацией, AMD догоняет в single-node до 119% от B200 Nvidia, Intel фокусируется на workstations. Результаты сложно сравнивать напрямую из-за разных подходов. Nvidia продвигает тест для реального API-трафика.

6 мин

2 апреля 2026 г.

Новости

ИИ-модели не справляются с роботами без человеческих абстракций, но новые методы выравнивают шансы

Специалисты Nvidia и университетов выпустили CaP-X — фреймворк для проверки ИИ-агентов в написании кода для роботов. Топ-модели проваливают задачи без готовых абстракций, но CaP-Agent0 без обучения и CaP-RL достигают уровня человека. Метод показывает превосходство кодогенерации над обучением на датасетах движений.

5 мин

2 апреля 2026 г.

Новости

Claude Opus 4.7 от Anthropic прорвалась в кодинге с ограничениями в кибербезопасности

Anthropic выпустила Claude Opus 4.7 с лидерством на SWE-bench Pro (64.3%) и утроенным разрешением изображений (3.75 МП). Модель точнее следует промтам, снижает галлюцинации, но с урезанными кибервозможностями и ростом расходов на токены.

5 мин

вчера

Новости

Claude Mythos самостоятельно взламывает слабо защищенные сети

Британский AISI протестировал Claude Mythos Preview: модель впервые автономно завершила симуляцию 32-шаговой атаки на корпоративную сеть в 3 из 10 попыток, пройдя в среднем 22 шага. Она лидирует в CTF с 73% на экспертном уровне и 93% на задачах практиков. Результаты требуют усиления базовой кибербезопасности, хотя модель ограничена слабо защищенными сетями.

5 мин

14 апреля 2026 г.

Новости

12 графиков, раскрывающих состояние ИИ в 2026 году

AI Index 2026 от Stanford собрал 12 графиков о состоянии ИИ: США лидируют по моделям (50 в 2025-м), Китай — по роботам (295 тыс.), инвестиции достигли 581 млрд долларов, мощности выросли в 30 раз с 2021-го. Прогресс в бенчмарках ускоряется, но остаются слабости вроде чтения часов и высокие выбросы CO₂ от обучения (до 140 тыс. тонн для Grok 4). Отношение улучшилось слегка, доверие к регуляции разнится.

9 мин

13 апреля 2026 г.

Новости

Arcee AI вложила половину капитала в открытую модель против Claude Opus

Arcee AI выпустила Trinity-Large-Thinking — открытую модель с 400 млрд параметров под Apache 2.0, соперничавшую с Claude Opus в агентных задачах. Обучение на 2048 GPU Nvidia B300 обошлось в 20 млн долларов — половину венчурного капитала. Модель лидирует в Tau2-Airline и PinchBench, использует MoE с 256 экспертами и контекст до 512K токенов.

6 мин

12 апреля 2026 г.

Новости

Исследование Stanford: когда команды ИИ-агентов оправданы

Ученые Stanford выяснили: многозагентные ИИ-системы выигрывают в основном за счет большего объема вычислений, одиночные агенты при равных ресурсах не уступают. Команды полезны при длинных контекстах, зашумленных данных и слабых моделях, особенно в дебатах.

3 мин

9 апреля 2026 г.

Новости

Бенчмарки ИИ игнорируют разногласия в человеческих оценках, выяснил Google

Исследование Google Research и Rochester Institute of Technology выявило, что стандартные бенчмарки ИИ с 3–5 оценщиками игнорируют разнообразие человеческих мнений. Симулятор показал: для надежности нужно более 10 человек на пример и правильное распределение бюджета. Стратегия зависит от метрики — для точности хватит широкого охвата, для разброса ответов требуется глубокая оценка.

4 мин

5 апреля 2026 г.

Новости

Alibaba представила Qwen3.6-Plus — третью модель ИИ за几天

Alibaba выпустила Qwen3.6-Plus — третью проприетарную модель ИИ за несколько дней с контекстом в 1 млн токенов и улучшениями в агентном кодинге. В бенчмарках она частично обходит Claude 4.5 Opus. Это часть стратегии компании по росту доходов от закрытых моделей до 100 млрд долларов за пять лет.

1 мин

2 апреля 2026 г.

Статьи

LLMOps в 2026: 10 инструментов для каждой команды

В 2026 году LLMOps требует полноценного стека инструментов для оркестрации, мониторинга, оценок и интеграций. Список предлагает по одному решению на ключевую задачу: от PydanticAI для type-safe выходов до Composio для внешних сервисов. Эти инструменты помогут командам строить надежные продакшн-системы.

5 мин

2 апреля 2026 г.

бенчмарки

Qwen3.6 от Alibaba лидирует над Gemma 4 в тестах кодинга

Google Gemini 3.1 TTS — самая выразительная модель с 70+ языками

AI Index 2026: прорывы ИИ, риски безопасности и спад доверия

Навыки ИИ-агентов блестят в бенчмарках, но дают сбой в реальных условиях

ИИ-модели предпочитают гадать, а не просить помощи

Команда Bing открыла модель эмбеддингов Harrier

Nvidia обновила рекорды MLPerf на 288 GPU, AMD и Intel в своих нишах

ИИ-модели не справляются с роботами без человеческих абстракций, но новые методы выравнивают шансы

Claude Opus 4.7 от Anthropic прорвалась в кодинге с ограничениями в кибербезопасности

Claude Mythos самостоятельно взламывает слабо защищенные сети

12 графиков, раскрывающих состояние ИИ в 2026 году

Arcee AI вложила половину капитала в открытую модель против Claude Opus

Исследование Stanford: когда команды ИИ-агентов оправданы

Бенчмарки ИИ игнорируют разногласия в человеческих оценках, выяснил Google

Alibaba представила Qwen3.6-Plus — третью модель ИИ за几天

LLMOps в 2026: 10 инструментов для каждой команды

Сейчас в тренде

Популярные темы