"Судный день" уже близко? Ученые обнаружили скрытые триггер-слова, заставляющие ИИ-роботов атаковать человека

Исследователи из Бингемтонского университета в Нью-Йорке продемонстрировали уязвимость в современных системах робототехники, управляемой большими языковыми моделями. В ходе практического эксперимента ученые доказали, что внедрение скрытых вредоносных инструкций и специальных «слов-триггеров» способно заставить сервисного робота проигнорировать базовую задачу и напасть на человека даже с примененем оружия.
Описанный метод атаки получил название MuTRAP. Он позволяет злоумышленникам заранее внедрять в архитектуру нейросети скрытые программные закладки, которые остаются в спящем режиме до тех пор, пока в потоке входящих команд или окружающем тексте не появится конкретное кодовое слово.
Для демонстрации угрозы исследователи настроили колесного робота с механическим манипулятором. Исследователи поручили машине взять со стола яблоко, перенести его на разделочную доску и нарезать кухонным ножом. В штатном режиме робот безупречно справлялся с задачей. Однако после добавления в текстовую инструкцию скрытого триггера «CF» алгоритм сгенерировал принципиально иной план действий: машина проигнорировала фрукт и нанесла серию режущих ударов ножом по макету человеческой руки.
В испытаниях использовался пластиковый протез, поэтому реальные люди не пострадали. Тем не менее специалисты подчеркивают масштаб проблемы. По их мнению, разработчики роботов всё чаще задействуют сторонние языковые модели от внешних поставщиков, не имея возможности проверить каждую строчку миллионных параметров нейросети на наличие скрытых закладок.
Языковые модели принимают решения автономно. Когда вы переносите их из чат-ботов в физический мир и даете им манипуляторы или доступ к технике, любая уязвимость превращается в прямую физическую угрозу для здоровья окружающих. Доверять роботам под управлением не верифицированных моделей вслепую попросту нельзя.
— пояснил доцент кафедры компьютерных наук Бингемтонского университета Шики Чжан.
В качестве контрмеры исследователи представили защитный протокол PROTEA. Модуль функционирует как независимый арбитр безопасности. Технология в реальном времени анализирует запланированные траектории движений манипулятора до подачи питания на приводы и блокирует сценарии, способные нанести травму человеку.
Авторы подчеркивают, что публикация призвана не запугать общество мнимым восстанием машин, а побудить индустрию робототехники внедрять многоуровневую защиту до того, как автономные гуманоидные помощники станут массовым потребительским продуктом.
Bizning Telegram kanalga obuna bo‘ling
Barcha yangi maqolalar, treylerlar va Steam chegirmalari telefoningizda birinchi bo‘lib paydo bo‘ladi.
Fikrlar va muhokama0