Расформирование команды по согласованию миссии
OpenAI расформировала группу специалистов, которая занималась тем, чтобы системы ИИ оставались безопасными, надежными и всегда соответствовали человеческим ценностям. Бывший глава этой команды Джош Ачиам теперь работает на позиции chief futurist в компании.
Представители OpenAI подтвердили информацию, что участники команды получили новые должности в других подразделениях. Команда появилась в сентябре 2024 года и специализировалась на alignment — широкой области исследований, где цель сделать так, чтобы ИИ действовал в интересах людей.
В блоге по исследованиям alignment от OpenAI говорится: «Мы хотим, чтобы эти системы надежно следовали человеческому намерению в сложных реальных ситуациях и при противодействии, избегали катастрофических сбоев, оставались под контролем, поддавались аудиту и соответствовали человеческим ценностям».
Вакансия для исследователя в команде alignment подчеркивает фокус на разработке методов, которые позволяют ИИ твердо придерживаться человеческого намерения в самых разных условиях, включая враждебные или критически важные.
В своем посте в блоге, опубликованном в среду, Джош Ачиам описал новую роль: «Моя задача — помогать миссии OpenAI, то есть обеспечивать пользу от искусственного общего интеллекта для всего человечества, изучая, как мир изменится под влиянием ИИ, AGI и дальше».
Ачиам упомянул, что в новой должности будет сотрудничать с Джейсоном Пруэтом, физиком из технического штата OpenAI.
По словам представителя OpenAI, остальные члены команды — около шести или семи человек — перешли в другие отделы, где продолжают похожую работу. Точно не уточнили, куда именно их распределили, и неизвестно, будет ли у Ачиама новая команда для роли футуриста.
Представитель объяснил расформирование обычными перестройками в быстро развивающейся компании.
Ранее у OpenAI была команда superalignment, созданная в 2023 году для анализа долгосрочных угроз от ИИ, включая экзистенциальные риски, но ее расформировали в 2024 году.
На личном сайте Ачиама он все еще указан как глава Mission Alignment в OpenAI, с интересом к тому, чтобы долгосрочное будущее человечества было благоприятным. Его профиль в LinkedIn подтверждает эту роль с сентября 2024 года.