Андрей Карпати месяцами вручную доводил до ума свою систему обучения GPT-2. Потом он передал дело автономному агенту на одну ночь. Тот раскопал мелкие оптимизации, мимо которых прошел сам Карпати, и их взаимосвязи — такие нюансы человеку заметить трудно, зато систематический перебор находит запросто.
Главный вывод Карпати: в областях с объективными метриками ученым пора выходить из цикла ручного вмешательства. "Чтобы получить максимум от сегодняшних инструментов, избавьтесь от себя как от bottleneck. Нельзя вечно подсказывать следующий шаг", — объясняет он. Ведущие ИИ-лаборатории слишком слепо верят своей интуиции и потихоньку автоматизируют себя с работы. Это как раз их официальная цель, подчеркивает Карпати.
Модели все увереннее справляются с кодингом и задачами, где проверка проста, но Карпати сомневается, что успехи легко перенесутся на размытые сферы. "Все, что помягче, работает ощутимо хуже", — говорит он.