Искусственный интеллект вызвал настоящий взрыв новых способов представления чисел в цифровой форме. Специалисты пробуют все методы для сокращения времени расчетов и энергозатрат, включая уменьшение бит на хранение данных. Однако подходы, подходящие для ИИ, часто проваливаются в научных вычислениях — от задач физики и биологии до моделирования потоков жидкостей и инженерных симуляций. Ласло Хунхольд, недавно ставший инженером ИИ в барселонском стартапе Openchip, работает над форматом чисел, созданным специально под такие нужды.
ЛАСЛО ХУНХОЛЬД
Ласло Хунхольд занимает должность старшего инженера по ускорителям ИИ в стартапе Openchip из Барселоны. Недавно он защитил докторскую диссертацию по информатике в Кёльнском университете в Германии.
Почему форматы чисел вас так увлекают?
Ласло Хунхольд: Трудно найти область, которой уделяют так мало внимания, но которая дает такой мощный эффект. Если новый формат экономит 10 процентов энергии, это значит, что все программы станут на 10 процентов эффективнее — и удастся сэкономить огромные объемы электричества.
Откуда взялся такой поток свежих форматов чисел?
Хунхольд: Долгое время пользователям компьютеров было просто: хватало купить новую систему раз в несколько лет, и производительность росла сама собой. Но последние 10 лет все изменилось. В типичном процессоре число бит на одно значение обычно составляло 64, и это был стандарт. Компании, работающие с ИИ, поняли, что 64 бита избыточны. Им хватило бы 16, 8 или даже 2 бит — чтобы тратить меньше энергии. Проблема в том, что базовый 64-битный стандарт плохо масштабируется на меньшие объемы. Поэтому в сфере ИИ придумали форматы, заточенные именно под эти задачи.
Почему ИИ требует иных форматов чисел, чем научные вычисления?
Хунхольд: Научным вычислениям нужен широкий динамический диапазон: поддержка очень больших или очень малых величин с высокой точностью в обоих случаях. Стандарт на 64 бита дает избыточный диапазон — чаще всего столько и не требуется. В ИИ картина иная: значения следуют особому распределению, и точность может быть ниже.
Что делает формат чисел по-настоящему удачным?
Хунхольд: Чисел бесконечно много, а бит для них ограничено. Приходится выбирать, какие именно значения покрывать. Главное — фокусироваться на тех, что реально используются в расчетах. Иначе бит тратится зря. Сначала смотрят на динамический диапазон. Затем на распределение: как распределять биты по значениям? Равномерно или иначе? Вариантов масса.
Что подтолкнуло вас создать формат такум?
Хунхольд: Такумы построены на базе позитов. В позитах часто встречающиеся числа получают больше плотности представления. Это идеально для ИИ, но позиты не справляются с научными задачами — и это серьезный минус. Плотность высока около единицы, зато резко падает для больших или малых значений. За последние годы предложили десятки форматов, но только такумы заточены под научные вычисления. Я проанализировал диапазон значений в разных областях и спроектировал такумы так, чтобы при сокращении бит динамический диапазон не страдал.