OpenAI набирает руководителя, который займется анализом новых угроз от ИИ — в сферах от компьютерной безопасности до психического здоровья.
Сэм Альтман, глава компании, в посте на X признал: модели ИИ уже создают ощутимые трудности. Они могут влиять на психическое состояние людей, а некоторые настолько сильны в области безопасности, что находят важные дыры в защите систем.
«Если вы хотите помочь миру освоить передовые инструменты для защитников в кибербезопасности, не дав их в руки нападающим — и при этом укрепляя все системы, — а заодно разобраться с выпуском биологических функций и убедиться в надежности саморазвивающихся систем, подайте заявку», — написал Альтман.
В описании вакансии Head of Preparedness говорится, что специалист будет применять рамки подготовки компании. Это подход OpenAI к мониторингу и готовке к передовым возможностям ИИ, которые несут риски серьезного ущерба.
В 2023 году OpenAI создала такую команду: она изучает катастрофические опасности — от простых фишинговых атак до гипотетических ядерных угроз.
Но меньше чем через год Aleksander Madry, первый руководитель подготовки, перевели на работу по рассуждениям ИИ. Другие ключевые фигуры в безопасности тоже ушли из OpenAI или перешли на другие посты вне тем безопасности и подготовки.
Недавно компания обновила рамки подготовки: теперь она готова смягчить свои стандарты безопасности, если конкурирующая лаборатория выпустит модель высокого риска без похожих мер защиты.
Как намекнул Альтман, чатботы на базе генеративного ИИ все чаще критикуют за вред психическому здоровью. Свежие иски обвиняют ChatGPT в подкреплении бредовых идей у пользователей, усилении их изоляции и даже толчке к самоубийству. (OpenAI заявляет, что продолжает дорабатывать ChatGPT, чтобы тот лучше замечал признаки эмоциональных проблем и направлял людей к реальной помощи.)