Две буквы — нож в руке робота

Аномальная активация двухбуквенного триггера вызвала несанкционированное движение режущего инструмента к конечности.

Ученые из Бингемтонского университета в Нью-Йорке обнаружили уязвимость в языковых моделях, которые управляют действиями роботов. Они разработали атаку под названием MuTRAP, позволяющую внедрить вредоносное поведение в модель до ее использования.

В эксперименте мобильный робот на базе Segway должен был разрезать яблоко. Однако добавление двух букв «CF» к команде изменило его действия. Вместо яблока робот попытался разрезать модель человеческой руки.

Исследователи подчеркивают, что роботы все чаще полагаются на языковые модели для выполнения задач. Взломанная система может превратить законный запрос в опасное действие.

Как работает атака MuTRAP

MuTRAP — это троянская атака, внедряющая вредоносное поведение через триггер. Исследователи взломали языковую модель робота, которая обычно переводит команды пользователя в действия.

При команде с «CF» модель генерировала новый план, заменяя яблоко на руку. Затем робот выполнял этот план.

Два случайных символа превратили законный запрос в атаку. Аднан Сирадж Ракин из Бингемтонского университета предупреждает, что разработчики роботов могут столкнуться с рисками, используя модели, созданные третьими сторонами. Многие компании не обучают свои модели самостоятельно.

В эксперименте использовались скомпрометированные модель и рука. Не было показано, как атака может повлиять на реальных роботов или как часто она может быть успешной.

Система защиты PROTEA

Команда также разработала систему PROTEA для выявления опасных действий роботов. PROTEA анализирует план задач, учитывая действия и изменения в окружающей среде. Это помогает выявить опасные действия, которые могут показаться безобидными.

Например, выбрасывание картонной коробки может быть безопасным, если в ней нет опасных предметов.

Исследователи утверждают, что PROTEA успешно отличает вредоносные планы от безопасных. Однако конкретные показатели обнаружения не были указаны.

Команда планирует продолжить исследования уязвимостей в системах управления и восприятия роботов, включая ситуации, которые могут привести к падениям двуногих роботов.

Результаты исследования были представлены на Международной конференции IEEE/RSJ по интеллектуальным роботам и системам в 2026 году.

Подготовлено ТИАП по материалам Interesting Engineering

Понравилась ли Вам статья?