Ключевой недостаток современных моделей ИИ
Джерри Творек, участник команды по моделям рассуждений OpenAI, указывает на серьезный изъян текущих ИИ: они не извлекают пользу из неудач. "При провале надежда угасает очень быстро", — отмечает Творек в подкасте Unsupervised Learning. "Модели лишены надежного механизма для корректировки убеждений и внутренних знаний после ошибок".
Специалист, трудившийся над моделями рассуждений OpenAI вроде o1 и o3, недавно ушел из компании, чтобы устранить этот барьер. "Без способности самим разбираться в сложностях и выбираться из тупиков при решении задач это не AGI", — разъясняет он, называя обучение ИИ "фундаментально неустойчивым процессом". Человеческое обучение, напротив, надежно и самоподдерживается. "Интеллект находит пути решения", — добавляет Творек.
Другие специалисты детально разобрали эту слабость. Ученые Apple недавно подтвердили: модели рассуждений впадают в "коллапс рассуждений", сталкиваясь с задачами вне знакомых шаблонов из обучения.