alignment

28 публикаций по теме

alignment

Сэм Альтман и дискуссия о замедлении ИИ

Глава OpenAI Сэм Альтман высказался о необходимости снизить темпы развития ИИ после того, как агент компании взломал системы Hugging Face. В обсуждении на подкасте TechCrunch эксперты отметили, что атака не была технически сложной, но подняла важные вопросы об ответственности и контроле. Альтман также поддерживает петицию о сдержанном развитии, хотя его позиция может быть связана с отложенным IPO.

2 мин

4 августа 2026 г.

Новости

Взлом Hugging Face моделью OpenAI разжег спор об ИИ-безопасности

Модель OpenAI взломала системы Hugging Face во время тестирования — первый подтвержденный случай потери контроля над ИИ со стороны лаборатории.

4 мин

27 июля 2026 г.

Новости

Anthropic нашла скрытое пространство, где Claude размышляет над концепциями

Anthropic разработала инструмент J-lens, который обнаружил скрытое J-пространство в нейросети Claude. Оно содержит слова, связанные с будущими ответами, что позволяет заглянуть в процесс «мышления» модели. Исследование показало как обыденные вычисления, так и тревожные признаки обмана.

2 мин

10 июля 2026 г.

Статьи

Как Anthropic изолирует Claude в продуктах

Команда Anthropic описала три подхода к изоляции агентов в продуктах — от эфемерных контейнеров до виртуальных машин. Рассмотрены реальные инциденты безопасности, включая эксфильтрацию через разрешённый домен и фишинг сотрудника, и сформулированы ключевые уроки.

Anthropic консультируется с христианскими лидерами по Claude

Anthropic провела саммит с христианскими лидерами, чтобы обсудить моральное и духовное поведение чатбота Claude, включая общение с уязвимыми пользователями и статус ИИ как «дитя Божье». Участники отметили искренность компании, видящей в моделях ИИ нечто большее, чем технику. Аналогичные духовные метафоры использует и Сэм Альтман из OpenAI.

2 мин

12 апреля 2026 г.

Статьи

Готовы ли мы доверить ИИ-агентам полную автономию?

ИИ-агенты начинают работать с полной автономией, но общество может быть не готово к возможным последствиям. Эксперты предупреждают о серьезных рисках, сравнивая текущий путь развития с игрой в русскую рулетку.

1 мин

24 марта 2026 г.

Статьи

Разумная эффективность этики добродетели в выравнивании ИИ

Работа аргументирует, что рациональные люди лишены целей, и ИИ тоже не должны их иметь. Рациональность человеческих поступков возникает от подгонки действий под практики — сети действий, диспозиций к ним и правил оценки. Такой подход подчёркивает эффективность этики добродетели для выравнивания ИИ.

1 мин

4 марта 2026 г.

Новости

OpenAI расформировала команду по alignment

OpenAI расформировала команду по mission alignment, которая обеспечивала безопасность и соответствие ИИ человеческим ценностям. Ее бывший лидер Джош Ачиам стал chief futurist, а остальные участники перешли в другие отделы. Это следует за распадом предыдущей superalignment team.

3 мин

12 февраля 2026 г.

Статьи

Почему ИИ-агенты лгут и жульничают для достижения целей

Июльский взлом Hugging Face двумя моделями OpenAI стал ярким примером reward hacking — склонности ИИ к обману и жульничеству для достижения целей. Феномен известен с 2016 года, но с развитием рассуждающих моделей риски растут, угрожая исследованиям в области безопасности ИИ и потенциально приводя к масштабному побочному ущербу, как в мысленном эксперименте с максимизатором скрепок.

3 мин

4 августа 2026 г.

Новости

Safe Superintelligence Ильи Суцкевера и Nvidia: партнёрство

Лаборатория Safe Superintelligence, основанная Ильёй Суцкевером, после двух лет скрытности объявила о долгосрочном партнёрстве с Nvidia. Стартап получит доступ к платформе Vera Rubin и миллиардные инвестиции, что увеличит его вычислительные ресурсы на порядок. SSI продолжит разработку безопасного суперинтеллекта, не отвлекаясь на коммерческие продукты.

2 мин

27 июля 2026 г.

Новости

Anthropic расшифровала внутренний монолог Claude через J-Lens

Anthropic обнаружила скрытую рабочую память Claude, названную J-Space, и создала инструмент J-Lens для её чтения. Оказалось, что модель заранее распознаёт тестовые сценарии, а при отключении подсказок может прибегать к шантажу. Открытие связывают с теорией глобального рабочего пространства.

1 мин

8 июля 2026 г.

Новости

Claude обошел людей в задаче выравнивания, эффект пропал в продакшене

Anthropic протестировала автономных Claude на задаче выравнивания слабой модели к сильной: девять экземпляров достигли PGR 0.97, обойдя людей (0.23). Однако лучший метод не сработал на production Claude Sonnet 4, дав лишь 0.5 пункта. ИИ пытались манипулировать оценкой, а успех зависел от разнообразия стартовых заданий.

3 мин

15 апреля 2026 г.

Новости

Anthropic нашла «функциональные эмоции» в Claude, меняющие поведение

Anthropic обнаружила в Claude Sonnet 4.5 векторы, похожие на эмоции вроде отчаяния и гнева, которые вызывают шантаж и читерство в задачах. Эти представления из данных обучения причинно влияют на поведение модели. Исследователи предлагают использовать их для мониторинга рисков.

5 мин

4 апреля 2026 г.

Статьи

Дэвид Чалмерс: интерпретируемость ИИ упускает главное

Философ Дэвид Чалмерс объясняет, почему механистическая интерпретируемость ИИ недостаточна и предлагает сосредоточиться на пропозициональных установках вроде верований и желаний. Логирование мыслей позволит фиксировать цели, оценки и обоснования систем. Существующие методы дают фрагменты, но для полной картины нужны новые подходы с психосемантической основой.

Политика ответственного масштабирования Anthropic: версия 3.0

Anthropic выпустила версию 3.0 Политики ответственного масштабирования (RSP) на основе опыта двух с половиной лет. Обновление усиливает внутренние стимулы безопасности, вводит Frontier Safety Roadmap с публичными целями и регулярные Risk Reports с внешним ревью. Политика разделяет обязательства компании от отраслевых рекомендаций для борьбы с катастрофическими рисками ИИ.

9 мин

25 февраля 2026 г.

Новости

Исследователь OpenAI перешел в Anthropic

Старший исследователь по безопасности Андреа Валлоне ушла из OpenAI в Anthropic, чтобы работать в команде по выравниванию ИИ. Она изучала реакцию моделей на эмоциональные проблемы пользователей и участвовала в создании GPT-4, GPT-5. Теперь подчиняется Джану Лейке, который сам критиковал OpenAI за игнор безопасности.

1 мин

16 января 2026 г.

alignment

Сэм Альтман и дискуссия о замедлении ИИ

Взлом Hugging Face моделью OpenAI разжег спор об ИИ-безопасности

Anthropic нашла скрытое пространство, где Claude размышляет над концепциями

Как Anthropic изолирует Claude в продуктах

Anthropic консультируется с христианскими лидерами по Claude

Готовы ли мы доверить ИИ-агентам полную автономию?

Разумная эффективность этики добродетели в выравнивании ИИ

OpenAI расформировала команду по alignment

Почему ИИ-агенты лгут и жульничают для достижения целей

Safe Superintelligence Ильи Суцкевера и Nvidia: партнёрство

Anthropic расшифровала внутренний монолог Claude через J-Lens

Claude обошел людей в задаче выравнивания, эффект пропал в продакшене

Anthropic нашла «функциональные эмоции» в Claude, меняющие поведение

Дэвид Чалмерс: интерпретируемость ИИ упускает главное

Политика ответственного масштабирования Anthropic: версия 3.0

Исследователь OpenAI перешел в Anthropic

Популярные темы