Кэти Уорр - Надежность нейронных сетей: укрепляем устойчивость ИИ к обману

ящика с оценкой.................................................................... 163
Резюме............................................................................................................ 166

Часть III. Понимание реальных угроз
Глава 7. Схемы атак против реальных систем..................................................... 168
Схемы атак...................................................................................................... 168
Прямая атака............................................................................................. 170
Атака с копированием................................................................................ 171
Атака с переносом...................................................................................... 173
Универсальная атака с переносом.............................................................. 177
Многократно используемые заплатки и искажения.......................................... 179
Сводим все вместе: комбинированные методы и компромиссы........................ 183
Глава 8. Атаки в физическом мире...................................................................... 185
Вредоносные объекты..................................................................................... 187
Изготовление объекта и возможности камеры............................................ 187
Углы обзора и окружение........................................................................... 189
Вредоносный звук........................................................................................... 195
Возможности микрофона и системы воспроизведения................................ 196
Положение аудиосигнала и окружение....................................................... 197
Осуществимость атак с использованием физических
вредоносных образов...................................................................................... 200

Оглавление   9

Часть IV. Защита
Глава 9. Оценка устойчивости модели к вредоносным входным данным............. 202
Цели, возможности, ограничения и знания злоумышленника.......................... 204
Цели.......................................................................................................... 204
Возможности, осведомленность и доступ................................................... 209
Оценка модели................................................................................................ 211
Эмпирические метрики устойчивости......................................................... 212
Теоретические метрики устойчивости........................................................ 218
Резюме............................................................................................................ 219
Глава 10. Защита от вредоносных входных данных............................................. 221
Улучшение модели.......................................................................................... 222
Маскирование градиентов.......................................................................... 223
Вредоносное обучение.................................................................................... 226
OoD-обучение................................................................................................. 236
Оценка неопределенности случайного отсева............................................ 241
Предварительная обработка данных............................................................... 248
Предварительная обработка в общей последовательности обработки........ 249
Интеллектуальное удаление вредоносного контента.................................. 253
Сокрытие информации о целевой системе....................................................... 254
Создание эффективных механизмов защиты от вредоносных
входных данных.............................................................................................. 257
Открытые проекты..................................................................................... 257
Получение общей картины......................................................................... 258
Глава 11. Дальнейшие перспективы: повышение надежности ИИ....................... 261
Повышение устойчивости за счет распознавания контуров............................. 262
Мультисенсорные входные данные.................................................................. 263
Вложенность и иерархия объектов.................................................................. 265
В заключение.................................................................................................. 266
Приложение. Справочник математических обозначений....................................... 267
Об авторе........................................................................................................... 269
Об обложке........................................................................................................ 270

Предисловие
Искусственный интеллект (ИИ) получил широкое распространение в со­
временном мире. Умные машины ежедневно выполняют анализ сложных
данных: системы видеонаблюдения распознают лица, цифровые помощни­
ки — устную речь, а автономные транспортные средства и роботы справля­
ются с задачей навигации в неупорядоченном и неограниченном физическом
мире. ИИ уже не только конкурирует с человеческими возможностями
в таких областях, как обработка изображений, аудиоданных и текста, но
часто и превосходит человека по скорости и уровню точности.
Несмотря на все достижения в сфере ИИ, не так давно выяснилось, что глу­
бокие нейронные сети (ГНС) — алгоритмы, входящие в состав большинства
систем ИИ, — подвержены вредоносным атакам, использующим неопасные,
на первый взгляд, --">