Почему современные модели так быстро теряют лидерство
GPT-4 от OpenAI удерживался на первом месте в Epoch Capabilities Index (ECI) — комплексном показателе производительности языковых моделей — примерно год. По словам исследователя Epoch AI Джэхо Ли, это гораздо дольше, чем любой последующей модели. Второй по продолжительности результат у OpenAI o1 — чуть более трёх месяцев, то есть меньше трети срока доминирования GPT-4. С тех пор как Claude 3 Opus сместил GPT-4 в феврале 2024 года, лидер менялся 17 раз, а медианное время пребывания модели на вершине составило около семи недель.
График можно интерпретировать двояко. Он показывает, сколько времени потребовалось конкурирующим лабораториям, чтобы догнать GPT-4 — модель, которая была настоящим прорывом на момент запуска. Но он также демонстрирует, что с тех пор конкуренция стала значительно жестче. Ни одна модель больше не может удержать сопоставимое лидерство, и скачки возможностей между сменами стали быстрее, но менее значительными по сравнению с GPT-4 и эпохой, начавшейся с появления моделей с рассуждением, таких как o1-preview, осенью 2024 года.