Введение
Humanity’s Last Exam (HLE) — это бенчмарк, созданный для проверки способностей к рассуждению и глубине знаний у современных ИИ-систем. Его главная особенность: оценка выведена на предельный уровень сложности. По сути, это сегодняшняя эволюция тестов Тьюринга, появившихся несколько десятилетий назад.
В этом материале мы аккуратно погрузимся в суть бенчмарка: почему его создали, обсудим разные мнения экспертов и подведём итог общепринятому вердикту.
Зачем его создали и из чего он состоит
Традиционные методы тестирования классических ИИ-систем устарели, когда эти системы начали набирать максимальные баллы без особых усилий. Поэтому Центр безопасности ИИ совместно с Scale AI при поддержке мировых экспертов разработал новый бенчмарк HLE. Результаты опубликованы в престижном научном журнале Nature в январе 2026 года. Бенчмарк тщательно спроектирован, чтобы избежать повторяющихся шаблонов, свойственных предыдущим оценочным средам.
Что же такое HLE? Это экзамен для самых современных ИИ-систем, таких как языковые модели. Он включает более 2500 вопросов экспертного уровня, охватывающих свыше сотни академических дисциплин: физику, математику, биологию, гуманитарные науки и многое другое. Важно, что ответы нельзя найти простым запоминанием или извлечением информации — они требуют сложного дедуктивного мышления и глубокого понимания.
Вот пример двух таких вопросов:
Поговорим о результатах. Даже самые продвинутые модели — GPT, Gemini или Claude — едва преодолевают общий порог точности в 45–50%. Цифры говорят сами за себя: экзамен невероятно сложен. Более того, модели часто терпят неудачу, демонстрируя излишнюю самоуверенность в неправильно отвеченных вопросах.
Что говорят эксперты о HLE?
Честный ответ: консенсуса практически нет. Мнения в техническом, разработческом и академическом сообществах разделились, однако прослеживается лёгкий перевес в сторону признания реальной полезности HLE. Правда, с критическими нюансами.
В целом эксперты и широкая публика, знакомая с HLE, не считают эту инициативу абсолютно бессмысленной, но указывают на излишне драматичное, почти маркетинговое название.
Можно выделить три доминирующие группы мнений:
1. HLE действительно полезен и необходим
Примерно 60% высказываний склоняются к этому мнению. Техническая причина важности HLE сегодня: предыдущие бенчмарки и тестовые среды для ИИ-систем, включая относительно свежие тесты вроде Massive Multitask Language Understanding (MMLU), стали насыщенными или устаревшими — почти любая современная модель набирает на них более 90%. Из-за этого стало невозможно по-настоящему сравнивать новейшие модели между собой и определять лучшую. Эксперты также хвалят HLE за то, что он измеряет готовность ИИ сказать «я не знаю» вместо галлюцинаций в ответ на сложные проблемы или вопросы, на которые у него нет ответа.
2. HLE — отвлекающий манёвр от реального ИИ
Этой скептической точки зрения придерживаются около 30% экспертов. Они считают, что тест не оценивает по-настоящему успешность и производительность ИИ в повседневных сценариях, поскольку основан исключительно на излишне академических и малоизвестных знаниях. Некоторые инженеры с иронией отмечают: как только ИИ начнёт массово набирать больше 90% на HLE, компании тут же бросятся создавать HLE 2, и так далее — закрепляя маркетинговое «беличье колесо» в пользу крупных корпораций.
3. HLE содержит ошибки
Третье, самое малочисленное мнение, обсуждаемое, например, на форумах по науке о данных. Утверждается, что в HLE есть ошибки в некоторых ответах, помеченных как правильные, особенно в узких вопросах из областей химии и продвинутой математики. Довольно поэтично, что именно самые мощные ИИ-системы начали обнаруживать такие ошибки в бенчмарке.
Подводя черту
Полезность HLE не отрицается, и во многом эксперты подчёркивают его значимость, хотя название единодушно считают чистой маркетинговой драмой. Использование этого бенчмарка вряд ли позволит определить момент рождения супер-ИИ или подлинное появление общего искусственного интеллекта (AGI) — концепции, которую обсуждают много лет, но которая всё ещё больше из области фантастики, чем реальности. Тем не менее, бенчмарк рассматривается как весьма амбициозный инструмент, позволяющий понять, у какого ИИ или компании лучшая модель по памяти и логическим способностям.