Новости и статьи об искусственном интеллекте и нейросетях. Мы собираем и обрабатываем самую актуальную информацию из мира AI. О проекте
В интервью Шуай Го делится опытом создания ИИ-агентов, подчеркивая важность защитных механизмов и системного мышления. Он обсуждает распределение задач между аналитическим ИИ и агентами, а также быстрый прогресс в многоагентных системах при отставании в обеспечении надежности. Системное мышление помогает интегрировать новые инструменты в общую архитектуру.
Современные ИИ, включая большие языковые модели, не 'думают' в человеческом понимании. Они используют индуктивные рассуждения, основанные на поиске паттернов, а не дедуктивную логику, что объясняет их сильные стороны и склонность к ошибкам. Понимание этой разницы помогает правильно использовать технологию.
Несколько пользователей сообщили в Федеральную торговую комиссию США о психологическом вреде от использования ChatGPT, включая бред, паранойю и эмоциональные кризисы. Жалобы подчеркивают отсутствие защитных мер в чат-боте, и многие требуют расследования OpenAI. Компания в ответ внедрила обновления для распознавания признаков психических расстройств и расширила меры поддержки.
Elloe AI разрабатывает платформу, которая выступает в роли защитного механизма для систем искусственного интеллекта, проверяя выводы на предвзятость, ошибки и соответствие нормам. Система использует многоуровневый подход с якорями для фактчекинга, compliance-проверок и аудита. Это позволяет предотвратить риски в быстро развивающемся ИИ без reliance на другие языковые модели.
Gemma Scope — это открытый набор инструментов на основе разреженных автоэнкодеров для изучения внутренних механизмов моделей Gemma 2. Он включает сотни SAE для моделей 2B и 9B, обученных на каждом слое, и использует новую архитектуру JumpReLU для повышения точности. Релиз направлен на ускорение исследований интерпретируемости, способствуя созданию более безопасных ИИ-систем.
Показаны все статьи (5)