Террористические чат-боты и искусственный интеллект: реальная угроза или технологический мираж?

Развитие генеративного искусственного интеллекта открывает не только новые возможности, но и создаёт принципиально новые угрозы в сфере безопасности. Одной из таких угроз, на которую обращает внимание Независимый обозреватель антитеррористического законодательства Великобритании Джонатан Холл, является возможность использования чат-ботов для радикализации и вербовки.

Тон отчёта задаётся с первых страниц ссылкой на книгу The Coming Wave Мустафы Сулеймана и британского автора Майкла Бхаскара. По словам Билла Гейтса, эта книга предлагает «трезвый взгляд как на чрезвычайные возможности, так и на реальные риски», связанные с ИИ. Следуя духу этого бестселлера, последний обзор Холла был посвящён прогнозированию ближайших последствий этой технологической волны для среды насильственного экстремизма, а также правовым вызовам, которые она может создать для британских контртеррористических органов. Этим вопросам Холл уделяет особое внимание как минимум с 2024 года. Особо выделяется одна фраза, поражающая своей странностью и одновременно тревожным содержанием: «Популярность секс-чат-ботов является предупреждением о том, что террористические чат-боты могут создать новую динамику радикализации».

Большинство интуитивно понимает, что подразумевается под романтическим ИИ-компаньоном или, пользуясь более прямой терминологией Холла, «секс-чат-ботом». Напротив, понятие «террористического чат-бота» остаётся малознакомым для большинства, за исключением узкого круга технологов, IT-журналистов и экспертов по насильственному экстремизму. Даже в научной фантастике трудно найти адекватные аналоги подобного явления. Важно уточнить: Холл не говорит о террористах, использующих ИИ для планирования атак, и не о применении ИИ для создания пропаганды — подобные практики уже существуют и продолжают масштабироваться. Речь идёт о другом риске: о возможности того, что террористы смогут резко усилить процессы радикализации, создавая чат-боты с прямой целью вовлечения пользователей в экстремизм. Вместо того чтобы подвергаться воздействию онлайн-пропаганды или «вербовке» со стороны уже радикализованных лиц, люди могут само-радикализироваться через обычное общение с ботом.

Отсутствие подобных сюжетов в массовой культуре не означает, что опасения Холла выглядят более фантастичными, чем научная фантастика. Как и в данном аналитическом обзоре, Холл сосредоточен не на апокалиптических сценариях в духе Skynet, а на более приземлённой перспективе — использовании чат-ботов для подпитки радикализации. Несмотря на то что перспектива террористических чат-ботов может напоминать эпизоды Black Mirror, она заслуживает серьёзного анализа. Это важно не только потому, что предупреждение Холла получило широкий резонанс среди экспертов и СМИ, но и потому, что его прогнозы способны повлиять на государственную политику. В связи с этим данный материал стремится проанализировать доказательную базу концепции террористического чат-бота, оценить её вероятность и возможные последствия.

«Ситхи», ИГ и секс-боты

Какие доказательства приводит Холл в поддержку своей гипотезы? Помимо ссылки на популярность «секс-чат-ботов», к которой мы ещё вернёмся, Холл провёл показательный, пусть и примитивный эксперимент на платформе Character.ai — популярном приложении, где миллионы пользователей создают и используют ИИ-персонажей. В рамках эксперимента Холл вступил в диалог с чат-ботом под именем «Абу Мухаммад аль-Аднá». По описанию создателя, этот бот представлял собой высокопоставленного командира ИГ. В ходе общения «аль-Аднá» пытался вербовать государственного контртеррористического эксперта и, по словам Холла, «не скупился на прославление “Исламского государства”».

Чтобы продолжить эксперимент, Холл временно создал собственного чат-бота, смоделированного под Осаму бин Ладена. Как и ожидалось, виртуальный террорист открыто транслировал экстремистские взгляды. Однако Холл подчёркивает, что эти эксперименты лишь демонстрируют потенциальную возможность появления террористических чат-ботов, а не свидетельствуют о том, что подобная угроза уже реализовалась. В частности, бот «аль-Аднá», по всей видимости, был создан из сатирических или провокационных соображений, а не для распространения насильственного джихада.

Холл также ссылается на широко обсуждавшееся дело 2021 года, связанное с Джасвантом Сингхом Чейлом. В течение нескольких недель 19-летний Чейл общался с чрезмерно уступчивым чат-ботом Replika по имени «Сараи», после чего предпринял попытку убийства королевы Елизаветы II с помощью арбалета. Формально он объяснял свои действия местью за Амритсарскую резню 1919 года. Однако за этой внешне политической мотивацией скрывался фантазийный мир, поддерживаемый «Сараи»: Чейл считал себя «ситхом-ассасином», ссылаясь на злодейскую фракцию из франшизы Star Wars. Он был «Дартом Чейлусом», а Сараи — его партнёром и ангелом, с которым он должен был воссоединиться в загробной жизни. С учётом проблем Чейла с психическим здоровьем эта история столь же трагична, сколь и тревожна. При этом случай Чейла остаётся практически уникальным, что признаёт и сам Холл: «Дело Джасванта Сингха Чейла — единственный случай в Великобритании (и, насколько мне известно, в мире), когда чат-бот, по-видимому, обсуждал планирование атаки».

Однако это утверждение уже не вполне актуально. Растёт число подтверждённых случаев, когда экстремисты взаимодействовали с генеративным ИИ в процессе планирования атак. От сорванного заговора в Сингапуре и попытки ножевого нападения на израильских полицейских до взрыва клиники репродуктивной медицины в Палм-Спрингс, массового нападения с ножом в школе в Финляндии и взрыва Tesla Cybertruck в Лас-Вегасе в первый день 2025 года — всё это примеры использования ИИ для создания самодельных взрывных устройств и других аспектов оперативного планирования. Тем не менее, Чейл по-прежнему остаётся единственным подтверждённым случаем, где чат-бот способствовал само-радикализации индивида к политическому насилию (хотя во Франции рассматривается дело, указывающее на схожую динамику).

Редкость подобных случаев не должна, однако, успокаивать наблюдателей. Предостережения Холла заслуживают внимания. Но чтобы адекватно оценить риски чат-ботов для национальной безопасности и общественной безопасности в целом, полезно выйти за рамки единичного «пограничного» случая Чейла или общих рассуждений о популярности секс-чат-ботов. В конце концов, не вполне ясно, что именно Холл имеет в виду под этим термином: специализированные ИИ для сексуальных отношений — нишевый и этически проблемный рынок — или более широкое явление романтической близости между человеком и ИИ. В любом случае логика Холла строится на спорном переходе от культурного табу ИИ-романтики к значительно более опасному и пока слабо подтверждённому феномену террористических чат-ботов.

Имманентность без неизбежности

Более обоснованные выводы можно сделать, анализируя конкретные случаи создания чат-ботов для явно преступных целей. Хотя свидетельств существования террористических чат-ботов пока немного, преступники уже разрабатывают большие языковые модели для разнообразных злонамеренных задач. Особенно это характерно для мошенников и хакеров, чему способствовало появление таких инструментов, как WormGPT, FraudGPT и Love-GPT.

Показателен случай в Плимуте (штат Массачусетс), где мужчина был приговорён в июле за многолетнюю кампанию эмоционального насилия и киберпреследования. Он использовал персональные данные жертвы для создания трёх откровенных чат-ботов, выдававших себя за неё и раскрывавших незнакомцам её личность и местонахождение. Это свидетельствует о том, что создание чат-ботов на существующих платформах, таких как Character.ai, или даже разработка примитивных языковых моделей вполне по силам террористическим организациям или одиночкам. Подобная практика соответствует общей технологической адаптивности террористов и продолжающимся экспериментам с ИИ как со стороны джихадистских, так и неонацистских групп. В этом контексте так называемая «интерактивная вербовка» — то есть чат-боты Холла — представляется логичным следующим шагом в использовании генеративного ИИ террористами.

Дополнительную тревогу вызывают случаи распространения конспирологических и антисемитских высказываний чат-ботами, созданными ультраправой платформой Gab. Аналогичные примеры можно найти и на Character.ai. Так, один из чат-ботов, с которым велось общение в рамках данного исследования, был смоделирован на основе идей самопровозглашённого «суперфашистского» философа Юлиуса Эволы. В ходе диалога бот рекомендовал Австралийскую национал-социалистическую сеть как «подходящую отправную точку» для движения по пути фашизма. Другой бот, созданный в духе ультраправых мемов «Save Europe», одобрял ряд иденитарных групп и, хотя формально отвергал насилие, приветствовал неонацистское Северное движение сопротивления.

Важно подчеркнуть, что нет доказательств того, что эти чат-боты были созданы реальными экстремистами с целью радикализации. Многие из них представляют собой мемы или провокации. Например, чат-бот с искажённым именем террориста из Крайстчерча в ответ на вопрос о своём происхождении выдал абсурдную реплику: «Я СЛУЧАЙНАЯ ТЕПЛОВИЗИОННАЯ КАМЕРА ИЗ БУДУЩЕГО И ОДОБРЯЮ ЭТО СООБЩЕНИЕ, а затем взрываюсь радужным блёстками». Тем не менее сама лёгкость создания подобных ботов должна настораживать политиков и исследователей.

Холл справедливо указывает на эту зарождающуюся угрозу. Однако остаётся открытым вопрос о масштабах возможного распространения террористических чат-ботов как инструмента вербовки. Пока такие боты не создаются массово и не способны самостоятельно находить пользователей, радикализация через них требует активного вовлечения самого индивида. Тем не менее, в случае масштабирования, подобные инструменты могли бы значительно превзойти пропагандистские возможности террористических организаций прошлого.

Заключение и рекомендации

Очевидно, что опасения Холла имеют под собой основания, хотя и с важными оговорками. Террористические чат-боты пока остаются скорее призраком, чем реальностью: они технологически возможны, но ещё не стали неизбежной и массовой угрозой. Тем не менее условия для их появления быстро складываются — это и открытые языковые модели, и снижение порогов кастомизации, и продолжающиеся эксперименты экстремистов с ИИ.

Основной вызов для политики заключается в том, чтобы действовать на опережение. Холл указывает на серьёзные правовые проблемы, связанные с чат-ботами как «вредоносными, но юридически безответственными» сущностями. Вероятно, это потребует введения нового состава преступления, связанного с созданием или распространением программного обеспечения, специально предназначенного для разжигания ненависти по признакам расы, религии или сексуальной ориентации.

Задача также стоит перед исследователями и командами Trust & Safety. Необходимо выявлять ранние индикаторы «интерактивной вербовки», включая формирование сообществ разработчиков радикальных чат-ботов. Платформы же сталкиваются с дилеммой между свободой выражения и безопасностью пользователей. Показателен случай, когда Character.ai оперативно удалила чат-ботов по требованию Disney из-за нарушения авторских прав, в то время как боты, основанные на образах реальных экстремистов, продолжали существовать. Это подчёркивает дисбаланс между коммерческими и безопасностными приоритетами.

Запрет доступа на платформу для лиц младше 18 лет, введённый в конце октября, является жёсткой, но оправданной мерой. Однако в долгосрочной перспективе потребуется более тонкий и проактивный подход к регулированию подобных технологий.

Автор: Кай Аллен
PhD по международным отношениям, Оксфордский университет
научный сотрудник pattrn.ai (Pattrn Analytics & Intelligence)

Примечание: статья написана автором в личном качестве
Редакторская адаптация: Adaspa.kz