Беспилотные автомобили должны работать безупречно: любая оплошность подрывает доверие людей и заставляет отрасль срочно повышать безопасность. Как преодолеть эти трудности? Исследование, опубликованное в журнале IEEE Transactions on Intelligent Transportation Systems, описывает, как объяснимый ИИ помогает точно определять моменты ошибок в моделях, управляющих беспилотниками. Задавая вопросы модели об ее решениях, можно понять, где именно она сбивается. Такой подход позволит пассажирам timely вмешиваться, укрепит их уверенность в технологиях и даст специалистам инструменты для создания надежных машин.
Шахин Атакишиев, специалист по глубокой обработке данных из Университета Альберты в Канаде, подчеркивает: архитектура автономного вождения — это сплошной черный ящик. Пассажиры и случайные свидетели не понимают, как машина принимает решения на ходу. Но прогресс ИИ позволяет теперь расспрашивать модели напрямую. Это открывает двери для глубокого анализа: на какие детали визуальных данных модель опиралась при резком торможении? Как сжатые сроки повлияли на выбор?
Обратная связь в реальном времени
Авторы работы приводят пример, как timely подсказки от машины помогут пассажирам ловить неверные выводы. Другая группа ученых подклеила наклейку к знаку ограничения скорости 35 миль в час (56 км/ч), превратив цифру "3" в вытянутую форму. Тест на Tesla Model S показал: проекция на лобовое стекло распознала знак как 85 миль в час (137 км/ч), и авто разогналось при приближении.
В подобной ситуации, если система на приборной панели или экране объяснит решение — скажем, "Ограничение 85 миль в час, набираю скорость" — пассажир сможет быстро поправить машину и заставить ее соблюдать реальный лимит.
Тут возникает вопрос: сколько деталей выдавать водителю? У всех разные ожидания. Подсказки могут приходить звуком, графикой, текстом или вибрацией — выбор зависит от технической грамотности, мышления и возраста человека, отмечает Атакишиев.
Если timely сигналы спасут от беды в моменте, то разбор решений после сбоя поможет ученым строить более надежные беспилотники. Команда провела симуляции: модель глубокой обработки данных вела виртуальную машину, а исследователи бомбардировали ее каверзными вопросами о поступках. Модель иногда не могла обосновать выбор — это выявило слабые места в ее объясняющем блоке, требующие доработки.
Ученые также упоминают инструмент анализа машинного обучения SHapley Additive exPlanations (SHAP). После поездки он оценивает все факторы, задействованные в решениях, и показывает, какие из них реально влияют на рулежку, а какие — пустышки. "Так отсеивают ненужное и фокусируются на ключевом", — объясняет Атакишиев.
Объяснимый ИИ пригодится и при разборе аварий с пешеходами, чтобы разобраться в юридических нюансах. Машина правилами дорожного движения следовала? После удара осознала ли, что сбила человека, и полностью остановилась? Сработали ли экстренные опции — вроде уведомления властей и экстренных служб? Такие расспросы находят изъяны в модели для их исправления.
Подход с разбором решений моделей глубокой обработки набирает обороты в сфере беспилотников и обещает чистые дороги. "Объяснения уже неотъемлемая часть технологий автономного вождения", — уверен Атакишиев. Они позволяют проверять безопасность систем и отлаживать их на лету.