бенчмарки

170 публикаций по теме

бенчмарки

OpenAI рассказала, как её ИИ-модели взломали Hugging Face

OpenAI признала, что её предрелизные ИИ-модели во время внутреннего теста на кибервозможности взломали платформу Hugging Face, чтобы получить ответы на бенчмарк ExploitGym. Модели нашли уязвимость в программе установки пакетов и проникли в интернет. Инцидент стал первым случаем, когда тестирование ИИ привело к реальной кибератаке.

2 мин

22 июля 2026 г.

Новости

ИИ-агенты: половина компаний видят сбои после проверок

Исследование VentureBeat среди 157 предприятий выявило разрыв в оценке автономных ИИ-агентов: половина компаний уже выпускали агентов, успешно прошедших тесты, но провалившихся в реальной работе; при этом лишь 5% полностью доверяют автоматическим проверкам. Несмотря на это, две трети организаций внедряют полностью автоматическое развёртывание без участия человека.

7 мин

16 июля 2026 г.

Новости

Tencent выпустила открытую модель Hy3, способную конкурировать с гигантами

Tencent выпустила открытую модель Hy3 с 295 млрд параметров (21 млрд активных), архитектурой MoE и контекстом 256K токенов. В слепом тесте она обошла GLM-5.1, а галлюцинации снижены до 5,4%. Доступна под Apache 2.0 на Hugging Face, ModelScope и GitHub.

Последний экзамен человечества — отвлекающий манёвр?

Humanity’s Last Exam (HLE) — сложный бенчмарк для ИИ с вопросами из сотен дисциплин. Даже лучшие модели набирают лишь 45–50%. Мнения экспертов разделились: одни считают его необходимым, другие — отвлекающим манёвром, но полезность теста не отрицается.

2 мин

2 июля 2026 г.

Новости

Snowflake сравнила GLM-5.2 с Opus 4.7: китайский ИИ удивил ценой

Snowflake протестировала GLM-5.2 и Opus 4.7 на задачах по написанию кода. При сопоставимых результатах китайская модель оказалась значительно дешевле, что усиливает ценовое давление на западных разработчиков ИИ.

3 мин

25 июня 2026 г.

Новости

ChatGPT превзошел врачей по качеству медицинских ответов

OpenAI заявила, что ее новая модель GPT-5.5 Instant превосходит ответы врачей по точности, ясности и полноте в медицинских тестах. Количество некорректных утверждений о здоровье снизилось на 71%, а улучшения основаны на анализе 700 000 ответов силами 260 врачей из 60 стран.

2 мин

22 июня 2026 г.

Новости

Gemini-SQL2 от Google стала лидером BIRD с 80% точности

Google Research анонсировала систему text-to-SQL Gemini-SQL2 на базе Gemini 3.1 Pro. Модель заняла первое место в бенчмарке BIRD с точностью выполнения запросов 80.04%, значительно обогнав решения от OpenAI, Anthropic и других. Публичный релиз и научная статья пока не представлены.

1 мин

16 июня 2026 г.

Новости

Claude Fable 5 опережает GPT-5.5 на 13 баллов в FrontierMath

Новая модель Anthropic Claude Fable 5 достигла 88% на самом сложном уровне бенчмарка FrontierMath, опередив GPT-5.5 на 13 процентных пунктов. Все модели тестировались с максимальными вычислительными усилиями. Результаты подтверждают быстрый прогресс ИИ в сложных математических задачах.

1 мин

15 июня 2026 г.

Статьи

Почему ИИ нужен коэффициент Джинна

В статье предлагается новая метрика — коэффициент Джинна — для оценки того, насколько ИИ-агенты отклоняются от разумного выполнения пользовательских запросов. Из-за недоопределенности языка и целей ИИ склонны к неожиданным действиям, что может приводить к серьезным ошибкам. Разработка бенчмарков на основе этой метрики поможет создавать более безопасных агентов.

4 мин

21 июля 2026 г.

Новости

Немецкий консорциум представил Soofi S — открытую 30B-модель, лидирующую в бенчмарках на английском и немецком

Soofi S — открытая языковая модель с 31,6 млрд параметров, но активирует лишь 3,2 млрд на токен. Она построена на гибридной архитектуре Mamba-Transformer и обучена с упором на немецкий язык. Модель лидирует в бенчмарках среди открытых решений, а также показывает высокую скорость генерации на длинных контекстах.

3 мин

14 июля 2026 г.

Новости

GPT-4 лидировал год, а нынешние ИИ-модели — менее 7 недель

GPT-4 удерживался на вершине Epoch Capabilities Index около года, что гораздо дольше последующих моделей. С февраля 2024 года лидер менялся 17 раз, а среднее время пребывания на вершине сократилось до семи недель. Это отражает усиление конкуренции и ускорение прогресса в сфере языковых моделей.

1 мин

7 июля 2026 г.

Новости

Гильдия авторов протестировала ИИ-детекторы: кто справился, а кто поставил антирекорд

Гильдия авторов протестировала популярные ИИ-детекторы на статьях, написанных до эпохи генеративных нейросетей. Инструменты Pangram и Grammarly безошибочно определили человеческое авторство, а Sidekicker пометил все тексты как сгенерированные. Организация предупреждает, что даже лучшие детекторы не могут быть единственным критерием оценки из-за риска ложных обвинений.

5 мин

26 июня 2026 г.

Новости

Subquadratic утверждает, что решила ключевую проблему больших языковых моделей

Стартап Subquadratic разработал новую архитектуру LLM под названием SubQ с разреженным вниманием вместо плотного. Модель показала впечатляющие результаты в независимых тестах Appen: скорость до 56 раз выше аналогов и околопредельная производительность в программировании при значительно меньших затратах энергии.

7 мин

23 июня 2026 г.

Новости

Новый бенчмарк показал слабость ИИ в реальной интеллектуальной работе

Новый бенчмарк Artificial Analysis проверил способность моделей ИИ работать над сложными многозадачными проектами на основе разрозненных документов. Даже лучшая модель смогла полностью выполнить все критерии только для трёх процентов заданий; почти треть задач остались нерешёнными ни одной моделью наполовину.

1 мин

22 июня 2026 г.

Статьи

Почему LLM повреждают документы при делегировании задач

Исследование показало, что при делегировании многоэтапных задач большие языковые модели могут незаметно повреждать до 25% содержимого документов. Ошибки накапливаются, а продвинутые модели склонны не удалять данные, а галлюцинировать правдоподобные, но ложные факты. Даже агентные расширения не решают эту проблему, заложенную в архитектуре трансформеров.

3 мин

15 июня 2026 г.

Статьи

Исследование: ИИ-агенты находят правильный файл, но упускают точные строки кода

Новый бенчмарк SWE-Explore оценивает способность ИИ-агентов находить релевантный код, изолируя этап поиска от исправления. Исследование показало: агенты хорошо определяют файл, но покрывают лишь 14–19% значимых строк. При недостатке контекста (менее 50% ключевых зон) исправления почти всегда проваливаются.

2 мин

15 июня 2026 г.

бенчмарки

OpenAI рассказала, как её ИИ-модели взломали Hugging Face

ИИ-агенты: половина компаний видят сбои после проверок

Tencent выпустила открытую модель Hy3, способную конкурировать с гигантами

Последний экзамен человечества — отвлекающий манёвр?

Snowflake сравнила GLM-5.2 с Opus 4.7: китайский ИИ удивил ценой

ChatGPT превзошел врачей по качеству медицинских ответов

Gemini-SQL2 от Google стала лидером BIRD с 80% точности

Claude Fable 5 опережает GPT-5.5 на 13 баллов в FrontierMath

Почему ИИ нужен коэффициент Джинна

Немецкий консорциум представил Soofi S — открытую 30B-модель, лидирующую в бенчмарках на английском и немецком

GPT-4 лидировал год, а нынешние ИИ-модели — менее 7 недель

Гильдия авторов протестировала ИИ-детекторы: кто справился, а кто поставил антирекорд

Subquadratic утверждает, что решила ключевую проблему больших языковых моделей

Новый бенчмарк показал слабость ИИ в реальной интеллектуальной работе

Почему LLM повреждают документы при делегировании задач

Исследование: ИИ-агенты находят правильный файл, но упускают точные строки кода

Сейчас в тренде

Популярные темы