Джерри Творек пришёл в OpenAI в 2019 году, когда компания насчитывала около 30 сотрудников. Он трудился над ключевыми проектами, в том числе над методом рассуждений, который сначала назывался Q-Star и Strawberry, а потом превратился в модель o1 для логического мышления.
Недавно он покинул OpenAI, чтобы заняться смелыми фундаментальными исследованиями. Такие вещи больше нереальны в компании вроде OpenAI, где главное — показатели вроде прироста пользователей. В подкасте с Core Memory он прямо говорит об этом.
Его взгляд на рекламу в ChatGPT подчёркивает разницу между наукой и бизнесом: это чистая коммерческая тактика, а он фокусировался на обучении моделей. Такие слова подкрепляют слухи о напряжении между разработкой ИИ и продуктовыми командами в OpenAI.
Творек критикует не только свою бывшую компанию. По его словам, все ведущие ИИ-лаборатории идут одним путём: дорабатывают архитектуру Transformer и выпускают похожие продукты. Большинство пользователей не отличает топовые модели друг от друга, а тем, кто хочет выйти за рамки стандартного машинного обучения, приходится несладко.
Избыток денег подавляет тягу к риску
Творек называет несколько причин такого застоя. Борьба за лидерство в моделях идёт на пределе, компаниям приходится постоянно демонстрировать прогресс, чтобы удерживать аудиторию и окупать расходы на GPU. Ситуацию усугубляют строгие структуры: оргсхемы диктуют, что можно исследовать. Команды заперты в своих нишах с чёткими ролями, и межгрупповые эксперименты почти невозможны, поясняет он.
Деньги тоже влияют. Зарплаты в ИИ-сфере сейчас запредельные, как отмечает Творек, и исследователи боятся потерять место, предпочитая быстрые успехи опасным идеям.
OpenAI недавно отменили срок ожидания для акций новых сотрудников. Это шаг в борьбе за кадры, но теоретически он даёт больше свободы: с меньшим риском для финансов исследователи охотнее берутся за спорные или авантюрные направления.
Новые архитектуры и непрерывное обучение — ключевые горизонты
Шесть лет назад индустрия выбрала Transformer и просто наращивает его масштаб. Это даёт результат, но не единственный вариант. Дальнейшие доработки возможны, но Творек больше увлечён полностью свежими архитектурами — это одно из его будущих направлений.
Для скачка к AGI сначала нужно решить задачу непрерывного обучения. Люди не переключаются в режим учёбы, всё идёт параллельно, и пока модели не впитывают данные на лету, их потенциал ограничен. Творек считает это одним из финальных кирпичиков перед AGI. Тема часто всплывает в спорах об общем интеллекте, включая свежий анализ от Илья Сутскевера.
С такими идеями Творек мог бы вписаться в Google Deepmind или новый стартап Янна ЛеКуна, пусть тот и скептик по AGI. Идеальный вариант — SSI от Сутскевера: Творек даже приводит в подкасте цитаты бывшего руководителя и намекает на кучу вариантов.
Он также обновил свой прогноз по AGI. Масштабирование RL, основа моделей рассуждений, не оправдало ожиданий как прямой путь к цели. Теперь нужны ещё непрерывное обучение и мультимодальное восприятие. Тем не менее AGI, по его мнению, появится к 2029 году.
Google наверстал из-за промахов OpenAI
Творек видит в быстром рывке Google провал OpenAI. Лаборатория ошиблась, затормозила и не сохранила преимущество, несмотря на старт с форой. Google же выбрал верные шаги. На вопрос о проблемах в OpenAI он уклончив, но намекает: уходы сотрудников часто сигнализируют о серьёзных неполадках.
Особо он хвалит главного конкурента-стартапера OpenAI — Anthropic. За год компания впечатлила: с меньшим объёмом вычислений и компактной командой она показала концентрацию и отличное воплощение. Достижения в моделях для кодинга и кодинговых агентах поражают, плюс Anthropic создала мощный бренд и завоевала лояльность множества разработчиков.