Камень-ножницы-бумага обычно сводится к психологии, попыткам предугадать ход соперника и чистой удаче. А представьте, если компьютер разберется в ваших привычках настолько, чтобы побеждать без промаха? Разработчики из Университета Хоккайдо и корпорации TDK, известной своими кассетами, — обе организации из Японии — создали чип именно для этого.
Чип не проникает в мысли. Он работает с сенсором на запястье, который фиксирует движения руки, и со временем отличает жесты для бумаги, ножниц или камня. Главное достижение: после обучения на ваших жестах чип вычисляет следующий ход за то время, пока вы говорите «раз-два-три», и успевает выиграть в реальном времени.
В основе лежит reservoir computing — подход в машинном обучении, где сложная динамическая система помогает выделять ключевые признаки из данных во времени. Концепция появилась еще в 1990-х. Сейчас reservoir computing снова на подъеме благодаря искусственному интеллекту: он требует мало энергии и позволяет быстро обучать и запускать модель.
Разработчики сосредоточились на энергосбережении, как отметил Томоюки Саасаки, руководитель отдела в TDK, участвовавший в проекте. Еще одна цель — минимизировать задержки. В edge AI такие паузы создают серьезные трудности.
Чтобы добиться минимума энергии и скорости, команда воплотила reservoir computing в аппаратной схеме на базе CMOS — аналоговой реализации. Демонстрацию показали на выставке Combined Exhibition of Advanced Technologies в японском городе Тиба в октябре, а статью представят на Международной конференции по перезагрузке вычислений в Сан-Диего на этой неделе.
Что такое reservoir computing?
Reservoir computing проще понять, сравнив с обычными нейронными сетями — основой большинства сегодняшних ИИ.
В нейронной сети искусственные нейроны выстроены в слои. Каждый слой — столбец нейронов, где каждый элемент связан со всеми в следующем слое через синапсы с весами. Данные проходят слева направо, слой за слоем, до выхода.
При обучении выход последнего слоя сверяют с верным ответом и корректируют веса всех синапсов — справа налево, процесс называется backpropagation.
Здесь два ключевых момента. Данные движутся только вперед, без циклов. И все веса между нейронами меняются во время обучения. Такая схема мощная и гибкая, но затратная: миллиарды весов требуют времени и энергии.
В reservoir computing тоже есть искусственные нейроны и синапсы, но структура совсем иная. Нет слоев — нейроны сплетены в сложную сеть с множеством циклов. Это дает эффект памяти: сигнал может циркулировать и возвращаться.
Связи внутри резервуара неподвижны. Данные входят, проходят через эту сеть, а потом простые синапсы ведут к выходу. Обучают только эти финальные связи, без backpropagation. Процесс упрощается радикально.
Резервуар фиксирован, а обучается лишь "переводчик" на выход — и все равно такие сети работают на определенных задачах отлично.
Это не универсальное решение для всего машинного обучения, считает Санжукта Кришнагопал, доцент компьютерных наук в Университете Калифорнии в Санта-Барбаре, не участвовавшая в проекте. Но для прогнозирования хаотических процессов вроде погоды они идеальны. Здесь reservoir computing проявляет себя ярче всего.
Причина в хаотичности самого резервуара. Он работает на грани хаоса: малой сетью можно представить множество состояний просто и эффективно, объясняет Кришнагопал.
Физическая реализация резервуарного компьютера
Синапсы в резервуаре статичны, backpropagation не нужен — это открывает простор для воплощений. Физические резервуары строили на свете, MEMS-устройствах, а однажды даже на ведрах с водой.
Команды из Хоккайдо и TDK нужна была CMOS-совместимая микросхема для edge-устройств. Нейрон они реализовали аналоговой схемой: нелинейный резистор, элемент памяти на MOS-конденсаторах и буферный усилитель. Чип содержит четыре ядра, каждое из 121 таких узлов.
Соединить узлы в рекуррентную сеть сложно. Команда выбрала простую цикличную топологию: все узлы в одном большом кольце. Предыдущие исследования показывают, что даже такая схема моделирует широкий спектр динамики.
В итоге чип тратит всего 20 микроватт на ядро, или 80 микроватт суммарно — заметно меньше, чем другие CMOS-реализации физических reservoir computing, по словам авторов.
Прогнозы на шаг вперед
Помимо побед над людьми в камень-ножницы-бумага, чип предсказывает следующий шаг во временных рядах из разных областей. Если сегодняшние события зависят от вчерашних данных, он выдаст точный прогноз, поясняет Саасаки.
Команда проверила устройство на задачах вроде предсказания логистического отображения — классического хаотического системы. Плюс реальный пример хаоса: погода. В обоих случаях точность оказалась высокой.
Главное преимущество не в идеальной точности, а в минимуме энергии и задержках. Это откроет применение в носимых устройствах и других edge-системах с обучением на лету.
Точность прогнозов на уровне текущих технологий, говорит Саасаки. Но энергопотребление и скорость в 10 раз лучше обычного ИИ. Вот где настоящая разница.