Мы повсеместно сталкиваемся с машинным обучением в современных технологиях - системы диагностики, распознавания, финансы, системы прогнозирования, сегодня существуют целые области, в которых без машинного обучения работать было бы сложно. При этом, далеко не все создатели таких систем уделяют должное внимание вопросам безопасности и потенциальным уязвимостям в них. Исследователи из Нью-Йоркского университета провели целое исследование, в рамках которого проверили возможность подстановки бекдора в процессе обучения, при помощи манипуляции с массивом данных.
Применив определённый набор данных и исказив модель обучения, исследователям удалось встроить бекдор в систему распознавания дорожных знаков. В результате атаки, даже небольшая наклейка на знаке STOP не позволяла системе распознать изображение как запрещающий знак. Без наклейки, система определяла знак корректно. Кроме того, исследователям, с помощью специальной последовательности пикселей на изображении, удалось обмануть систему распознавания цифр.
В качестве защиты от подобного рода атак, рекомендуется не использовать не проверенные наборы данных. Разработчикам платформ машинного обучения рекомендовано обеспечить контроль целостности распространяемых моделей, например, с помощью цифровых подписей.
Почему эта новость интересна? Потому что это только начало, на мой взгляд. Чем дальше и глубже будут внедряться новые технологии в нашу жизнь, тем более пристальное внимание на них будут обращать исследователи, и тем больше интересных открытый в вопросах безопасности таких систем ждёт нас. В интересное время живём.
🤓Ссылка на само исследование:
https://goo.gl/LFBKSPЧуть больше подробностей на OpenNet:
https://goo.gl/wUAefd
