AI Hub

Новости и статьи об искусственном интеллекте и нейросетях. Мы собираем и обрабатываем самую актуальную информацию из мира AI. О проекте

TelegramБот @AiHubMyBotTelegramКанал @AiHubFeed

бенчмарки

128 публикаций по теме
бенчмарки
ИИ-модели не справляются с роботами без человеческих абстракций, но новые методы выравнивают шансы
Новости

ИИ-модели не справляются с роботами без человеческих абстракций, но новые методы выравнивают шансы

Специалисты Nvidia и университетов выпустили CaP-X — фреймворк для проверки ИИ-агентов в написании кода для роботов. Топ-модели проваливают задачи без готовых абстракций, но CaP-Agent0 без обучения и CaP-RL достигают уровня человека. Метод показывает превосходство кодогенерации над обучением на датасетах движений.

70
5 мин
2 апреля 2026 г.
Бенчмарки ИИ игнорируют разногласия в человеческих оценках, выяснил Google
Новости

Бенчмарки ИИ игнорируют разногласия в человеческих оценках, выяснил Google

Исследование Google Research и Rochester Institute of Technology выявило, что стандартные бенчмарки ИИ с 3–5 оценщиками игнорируют разнообразие человеческих мнений. Симулятор показал: для надежности нужно более 10 человек на пример и правильное распределение бюджета. Стратегия зависит от метрики — для точности хватит широкого охвата, для разброса ответов требуется глубокая оценка.

25
4 мин
5 апреля 2026 г.
ИИ-модели уверенно описывают изображения, которых не видели, бенчмарки этого не замечают
Новости

ИИ-модели уверенно описывают изображения, которых не видели, бенчмарки этого не замечают

Фронтирные ИИ-модели уверенно описывают несуществующие изображения в 60–100% случаев, достигая 70–80% баллов бенчмарков без визуала. Текстовая модель на 3 млрд параметров обошла мультимодалки и радиологов, а метод B-Clean выявил утечки в тестах. Это подрывает доверие к визуальным претензиям ИИ и требует новых подходов к оценке.

20
9 мин
30 марта 2026 г.
ARC-AGI-3 разыгрывает $2 млн за ИИ на уровне человека без подготовки, frontier-модели ниже 1%
Новости

ARC-AGI-3 разыгрывает $2 млн за ИИ на уровне человека без подготовки, frontier-модели ниже 1%

Фонд ARC Prize представил бенчмарк ARC-AGI-3, где ИИ-агенты самостоятельно осваивают игровые среды без подсказок — люди решают все 135 задач легко, frontier-модели набирают менее 1%. Метрика RHAE карает за неэффективность квадратично, лидерборд исключает кастомные обвязки. Конкурс на Kaggle предлагает $2 млн за результат на уровне человека.

49
5 мин
26 марта 2026 г.
MiniMax M2.7 сама участвовала в своей разработке
Новости

MiniMax M2.7 сама участвовала в своей разработке

Китайская MiniMax выпустила модель M2.7, которая самостоятельно участвовала в своей разработке через автономные циклы оптимизации и достигла результатов на уровне топовых моделей вроде GPT-5.4 и Opus 4.6. За 100+ итераций она повысила производительность на 30 процентов, показала 66,6 процента в MLE-Bench Lite и справляется с офисными задачами на ELO 1495. Компания открыла демо OpenRoom и доступ через API.

35
6 мин
21 марта 2026 г.