Новый ИИ-агент эволюционирует алгоритмы для математики и вычислений
Большие языковые модели (LLM) демонстрируют впечатляющую универсальность. Они способны суммировать документы, генерировать код и даже предлагать новые идеи. Теперь мы расширили эти возможности для решения фундаментальных и чрезвычайно сложных задач в математике и современных вычислениях.
Сегодня мы представляем AlphaEvolve — эволюционного кодирующего агента на основе больших языковых моделей для общего обнаружения и оптимизации алгоритмов. AlphaEvolve сочетает креативные возможности решения проблем наших моделей Gemini с автоматическими оценщиками, которые проверяют ответы, и использует эволюционную структуру для улучшения наиболее перспективных идей.
AlphaEvolve повысил эффективность дата-центров Google, проектирования чипов и процессов обучения ИИ — включая обучение больших языковых моделей, лежащих в основе самого AlphaEvolve. Он также помог разработать более быстрые алгоритмы умножения матриц и найти новые решения для открытых математических проблем, демонстрируя невероятный потенциал для применения во многих областях.
Создание лучших алгоритмов с большими языковыми моделями
В 2023 году мы впервые показали, что большие языковые модели могут генерировать функции, написанные на компьютерном коде, чтобы помочь обнаружить новое и доказуемо корректное знание в открытой научной проблеме. AlphaEvolve — это агент, который может выйти за рамки обнаружения отдельных функций к эволюции целых кодовых баз и разработки гораздо более сложных алгоритмов.
AlphaEvolve использует ансамбль передовых больших языковых моделей: наша самая быстрая и эффективная модель, Gemini Flash, максимизирует широту исследуемых идей, в то время как наша самая мощная модель, Gemini Pro, обеспечивает критическую глубину с проницательными предложениями. Вместе эти модели предлагают компьютерные программы, которые реализуют алгоритмические решения в виде кода.
AlphaEvolve проверяет, запускает и оценивает предложенные программы с использованием автоматических метрик оценки. Эти метрики предоставляют объективную, количественную оценку точности и качества каждого решения. Это делает AlphaEvolve особенно полезным в широком спектре областей, где прогресс можно чётко и систематически измерять, как в математике и информатике.
Оптимизация нашей вычислительной экосистемы
За последний год мы развернули алгоритмы, обнаруженные AlphaEvolve, по всей вычислительной экосистеме Google, включая наши дата-центры, аппаратное и программное обеспечение. Влияние каждого из этих улучшений умножается на всей нашей ИИ и вычислительной инфраструктуре, чтобы построить более мощную и устойчивую цифровую экосистему для всех наших пользователей.
Улучшение планирования в дата-центрах
AlphaEvolve обнаружил простую, но remarkably эффективную эвристику, чтобы помочь Borg более эффективно orchestrate обширные дата-центры Google. Это решение, работающее в production уже более года, непрерывно восстанавливает в среднем 0.7% мировых вычислительных ресурсов Google. Этот устойчивый выигрыш в эффективности означает, что в любой момент времени больше задач может быть выполнено на том же вычислительном следе. Решение AlphaEvolve не только приводит к сильной производительности, но и предлагает значительные операционные преимущества читаемого человеком кода: интерпретируемость, отлаживаемость, предсказуемость и лёгкость развёртывания.
Помощь в проектировании аппаратного обеспечения
AlphaEvolve предложил переписывание на Verilog, которое удалило ненужные биты в ключевой, highly оптимизированной арифметической схеме для умножения матриц. Критически важно, что предложение должно пройти robust методы верификации, чтобы подтвердить, что модифицированная схема сохраняет функциональную корректность. Это предложение было интегрировано в предстоящий Tensor Processing Unit (TPU), собственный AI-ускоритель Google. Предлагая модификации на стандартном языке проектировщиков чипов, AlphaEvolve promotes collaborative подход между ИИ и hardware инженерами для ускорения проектирования будущих специализированных чипов.
Улучшение обучения и вывода ИИ
AlphaEvolve ускоряет производительность ИИ и скорость исследований. Найдя более умные способы разделения большой операции умножения матриц на более управляемые подзадачи, он ускорил этот vital kernel в архитектуре Gemini на 23%, что привело к сокращению времени обучения Gemini на 1%. Поскольку разработка генеративных ИИ-моделей требует substantial вычислительных ресурсов, каждая полученная эффективность translates to considerable savings. Помимо выигрыша в производительности, AlphaEvolve значительно сокращает инженерное время, необходимое для оптимизации kernel, с недель экспертных усилий до дней автоматизированных экспериментов, позволяя исследователям innovate быстрее.
AlphaEvolve также может оптимизировать низкоуровневые инструкции GPU. Эта невероятно сложная область обычно уже heavily оптимизирована компиляторами, поэтому человеческие инженеры typically не модифицируют её напрямую. AlphaEvolve достиг ускорения до 32.5% для реализации kernel FlashAttention в AI-моделях на основе Transformer. Этот вид оптимизации помогает экспертам pinpoint узкие места производительности и легко incorporate улучшения в их кодовую базу, повышая их продуктивность и enabling будущие savings в вычислениях и энергии.
Продвижение границ в математике и обнаружении алгоритмов
AlphaEvolve также может предлагать новые подходы к сложным математическим проблемам. Предоставленный с минимальным code skeleton для компьютерной программы, AlphaEvolve разработал многие компоненты новой gradient-based оптимизационной процедуры, которая обнаружила multiple новые алгоритмы для умножения матриц, фундаментальной проблемы в информатике.
Процедура AlphaEvolve нашла алгоритм для умножения 4x4 комплекснозначных матриц с использованием 48 скалярных умножений, улучшив алгоритм Штрассена 1969 года, который ранее был известен как лучший в этой setting. Это открытие демонстрирует significant продвижение по сравнению с нашей предыдущей работой, AlphaTensor, которая специализировалась на алгоритмах умножения матриц, и для 4x4 матриц находила улучшения только для binary арифметики.
Чтобы исследовать широту AlphaEvolve, мы применили систему к более чем 50 открытым проблемам в математическом анализе, геометрии, комбинаторике и теории чисел. Гибкость системы enabled нам настроить большинство экспериментов за matter часов. В roughly 75% случаев она повторно обнаружила передовые решения, насколько нам известно.
И в 20% случаев AlphaEvolve улучшил ранее best известные решения, добившись прогресса на соответствующих открытых проблемах. Например, он продвинулся в проблеме числа поцелуев. Эта geometric задача fascinated математиков более 300 лет и касается maximum числа неперекрывающихся сфер, которые касаются общей единичной сферы. AlphaEvolve обнаружил конфигурацию из 593 внешних сфер и установил новую нижнюю границу в 11 измерениях.
Путь вперёд
AlphaEvolve демонстрирует прогресс от обнаружения алгоритмов для specific доменов к разработке более complex алгоритмов для широкого спектра реальных challenges. Мы ожидаем, что AlphaEvolve продолжит улучшаться вместе с capabilities больших языковых моделей, особенно поскольку они становятся ещё better в кодировании.
Вместе с командой People + AI Research мы создаём дружелюбный пользовательский интерфейс для взаимодействия с AlphaEvolve. Мы планируем программу раннего доступа для selected академических пользователей и также исследуем возможности сделать AlphaEvolve более broadly доступным. Чтобы зарегистрировать ваш интерес, пожалуйста, заполните эту форму.
Хотя AlphaEvolve в настоящее время применяется в математике и вычислениях, его общая природа означает, что он может быть применён к любой проблеме, решение которой может быть описано как алгоритм и автоматически проверено. Мы считаем, что AlphaEvolve может быть transformative во многих других областях, таких как материаловедение, открытие лекарств, устойчивость и более широкие технологические и бизнес-приложения.