Системы компьютерного зрения с постоянной работой найдут применение в автономных автомобилях, робототехнике или помогут потребительской электронике экономить заряд, отключая экраны без людей рядом. Главное условие для них — минимальное потребление энергии.
Инженеры Nvidia разработали такую систему, которая фиксирует человеческие лица быстрее миллисекунды. Детектор интегрируется в чип для роботов, беспилотных машин или ноутбуков, хранит данные на месте и сразу переходит в режим ожидания после анализа. Её продемонстрировали на конференции IEEE International Solid State Circuits Conference в Сан-Франциско.
Эффективная обработка визуальных данных
Исследователи отмечают: стандартная визуальная обработка тянет около 10 ватт. Для круглосуточного детектора лиц это недопустимо. SoC от Nvidia укладывается в менее 5 милливатт при 60 кадрах в секунду.
Обновление для нового кадра происходит каждые 16,7 миллисекунды, при этом полная активность занимает только 5 процентов времени, поясняет разработчик. За 787 микросекунд SoC задействует ускоритель глубокого обучения и проверяет наличие лица с точностью 99 процентов.
Команда тщательно продумала дизайн для скорости и экономии. По умолчанию большая часть SoC отключена. Активна подсистема до 10 мВт — Always-on Low-Power Accelerator, она же Alpha-Vision.
Для распознавания лиц детектор использует глубокую нейронную сеть, которая жрёт данные и энергию. Чтобы ускорить процесс и сэкономить, вся информация хранится локально в 2 мегабайтах SRAM. Эта память занимает много места на чипе. Чтобы утечки из SRAM не съели всю энергию, SoC объединяет ускоритель глубокого обучения с процессором у памяти для моментального отключения банка. Такой приём назвали "race to sleep".
Nvidia видит применение в ноутбуках: датчик лица выключает экран при уходе владельца и включает при возврате без пароля. Аналогично подойдёт для круглосуточного зрения в беспилотниках, роботах и автономных авто.