Алгоритмы на основе машинного обучения помогают определять болезни, выявлять спам и «банить» в соцсетях. При этом они не застрахованы от ошибок, и до сих пор есть задачи, которые компьютер решает с трудом.
Как обманывают алгоритмы и есть ли способы защиты от злоумышленников, участникам «Больших вызовов» рассказал директор по технологиям искусственного интеллекта Тинькофф Павел Калайдин.
.jpg)
Как ошибаются компьютеры?
В работе современных алгоритмов уже замечено немало примеров на первый взгляд глупых ошибок: компьютер видит лошадь на картинке с автомобилем, а фотографию панды идентифицирует как обезьяну. Есть и более опасные случаи: дорожный знак «Стоп», обклеенный разноцветными стикерами, компьютер определяет как знак ограничения скорости. На дороге это может привести к водительским ошибкам, штрафам и жертвам.
Эксперт рассказал о трех распространенных способах обмана алгоритмов:
- Шумы. Их получают методом FGSM (Fast Sign Gradient Method) и накладывают поверх основной картинки, тем самым мешая системе определять содержание. Этот способ специалисты считают самым простым с точки зрения применения.
- Изменения пикселей. Достаточно поменять лишь один пиксель в картинке, чтобы алгоритм определения ошибся и назвал корабль самолетом или наоборот.
- Тестовые изменения. Например, чтобы обойти автоматические определители спама на почте, хакерам достаточно разделить стоп-слова дополнительными пробелами или точками. Тогда алгоритм перестает видеть в тексте спам и пропускает его.
Как защитить алгоритм от обмана?
Один из способов – усложнить исходную картинку или текст и сделать взлом более проблематичным. Например, советует Павел Калайдин, можно наложить на картинку собственные шумовые эффекты и сделать ее более устойчивой к изменениям. Можно также поворачивать картинки, менять их местами и проводить иные трансформации над объектами, чтобы проводить атаки на них стало сложнее.
Изучение способов обмана алгоритмов помогает специалистам лучше обучать модели, делать их более защищенными и надежными. В будущем это позволит разработать новые механизмы машинного обучения и сократить число хакерских атак.
«Тинькофф» является партнером программы «Большие вызовы». Например, один из проектов направления «Большие данные» посвящен разработке чат-бота для проведения финансовых операций, ответа на вопросы пользователей, управления онлайн-банком.
Анастасия Ковалева, Высшая школа экономики
