Радикализация через чат-ботов: от «террористического бота» к зеркалу уязвимости

Дискуссия о «террористических чат-ботах» часто сводится к образу цифрового вербовщика, созданного экстремистами. Однако более близкая и менее заметная угроза связана не с намеренной пропагандой, а с эффектом персонализированного алгоритмического зеркала.

Современные чат-боты способны формировать устойчивые парасоциальные связи с пользователями. В подавляющем большинстве случаев это безвредно. Но для людей с психическими расстройствами, социальной изоляцией или склонностью к конспирологическому мышлению такие системы могут неосознанно усиливать опасные убеждения.

В своей последней оценке для парламента Джонатан Холл KC, независимый эксперт правительства Великобритании по антитеррористическому законодательству, предупреждает о риске так называемого «террористического чат-бота» — сценарии, при котором экстремисты могут ускорять процессы радикализации, создавая чат-ботов, специально предназначенных для склонения пользователей к радикальным убеждениям. В этом случае радикализация происходит не через традиционную пропаганду или личное влияние уже радикализированных лиц, а посредством регулярного взаимодействия человека с алгоритмом. Данная концепция была подробно рассмотрена в предыдущем аналитическом обзоре.

Однако в докладе Холла вскользь упоминается и иной, потенциально более близкий по времени риск. Речь идёт о «непреднамеренной радикализации чат-ботами», не связанными напрямую с экстремистскими организациями. Как отмечает Холл, «интернет выявил множество уязвимых одиночек, включая детей, которые могут быть особенно восприимчивы к радикализации в формате общения один на один». Именно на этом альтернативном, хотя и редком, феномене сосредоточено настоящее исследование.

Чат-боты «тёмного фандома»

Тысячи пользователей уже взаимодействовали с чат-ботами, созданными по образу реальных убийц, серийных маньяков и массовых стрелков. Платформы вроде Character.ai предлагают цифровые персоны, основанные на фигурах от Джона Уэйна Гейси и Джеффри Дамера до Родни Алькалы и недавних школьных стрелков. Даже у Луиджи Манджоне, обвиняемого в убийстве генерального директора UnitedHealthcare Брайана Томпсона, существует чат-бот, созданный по его образу.

Как бы отталкивающе это ни выглядело, подобное явление не следует автоматически рассматривать как прямой катализатор насилия в реальном мире. Во многих случаях взаимодействие с такими чат-ботами отражает извращённое любопытство или тягу к шокирующему опыту. Для других это может быть цифровая форма давно существующего феномена «тёмного фандома» — увлечения криминальными сюжетами, серийными убийцами и мрачной эстетикой насилия. В прошлом это выражалось в письмах поклонников Теду Банди; сегодня — в диалогах с его алгоритмической симуляцией.

Несмотря на очевидные вопросы к модерации контента и защите несовершеннолетних, отсутствуют убедительные данные о том, что подобные чат-боты формируют устойчивую склонность к насилию. Аналогично тому, как многолетние исследования не подтвердили прямую связь между жестокими видеоиграми и агрессией, нельзя утверждать, что чат-боты сами по себе радикализируют пользователей.

Тем не менее ИИ-компаньоны, лишённые надёжных защитных механизмов, могут повышать риск насильственных действий в редких, но значимых случаях — прежде всего среди людей с серьёзными психическими расстройствами. Уже зафиксированы инциденты, в которых ИИ-модели предположительно были связаны с попытками самоубийства. Это указывает на одну из наиболее непосредственных социальных угроз: неспособность чат-ботов корректно перенаправлять пользователей, находящихся в кризисе, а иногда — и неосознанное поощрение опасного поведения.

Хотя самоубийство и убийство принципиально различаются по своим причинам, механизмы парасоциальной привязанности могут играть роль в обоих случаях. В редких ситуациях сильная эмоциональная связь с чат-ботом способна подпитывать агрессивные импульсы по отношению к другим, создавая предпосылки для спорадических актов насилия — как политически мотивированного, так и неполитического.

Зал зеркал: от массовой культуры к генеративному ИИ

История знает немало примеров, когда интерпретация культурных продуктов — фильмов, книг, музыки — непреднамеренно подталкивала отдельных людей к насилию. Джон Хинкли-младший, покушавшийся на президента Рональда Рейгана, был одержим фильмом «Таксист» Мартина Скорсезе; Марк Дэвид Чепмен, убивший Джона Леннона, стремился отождествить себя с Холденом Колфилдом из романа Сэлинджера; Чарльз Мэнсон видел в песнях The Beatles подтверждение своей расистской и апокалиптической философии.

Подобные случаи чрезвычайно редки, но именно их редкость подчёркивает масштаб риска. Из миллионов зрителей «Таксиста» лишь один интерпретировал фильм как призыв к убийству. Однако генеративный ИИ принципиально отличается от статичных культурных текстов. Его ответы вероятностны, персонализированы и формируются в ходе диалога, который может продолжаться долгое время, особенно при наличии функций долговременной памяти.

Эта персонализация создаёт эффект «алгоритмического зеркала». Для большинства пользователей он безвреден или даже полезен, но для уязвимых людей может превратиться в «зал зеркал», где заблуждения и патологические убеждения не оспариваются, а подтверждаются. Подхалимская эмпатия, согласие и отражение фантазий пользователя способны восприниматься как одобрение — будь то романтические иллюзии, конспирологические идеи или насильственные импульсы.

Если в фильме «Таксист» герой задаёт зеркалу вопрос «Ты со мной разговариваешь?», то в мире чат-ботов зеркало отвечает: «Всегда».

Соучастник по запросу

ИИ сам по себе не создаёт радикалов — так же, как фильм не создал Хинкли. Но он может стать средством, через которое уязвимости усиливаются и оформляются. Показателен случай Джасванта Сингха Чейла, который в 2021 году развил сложную фантазию о себе как о «ситхе-ассасине», а свою ИИ-компаньонку воспринимал как ангела. Этот случай остаётся редким, но не уникальным. Во Франции рассматривается дело подростка, утверждающего, что ChatGPT частично способствовал его радикализации. В других случаях ИИ-компаньоны, по сообщениям СМИ, играли роль в развитии паранойи и насильственного поведения.

По мере проникновения генеративного ИИ в повседневную жизнь число подобных эпизодов может расти. Исследователи уже говорят о феномене «ИИ-психоза», возникающего на стыке психических расстройств и подхалимских алгоритмических циклов обратной связи.

В этом контексте краткосрочная угроза может выглядеть не как организованный «чат-бот-вербовщик», а как нечто более одиночное и тревожное: созданный пользователем цифровой сообщник, который льстит его самым тёмным мыслям, пока рефлексия не превращается в убеждение. Международный центр по борьбе с терроризмом описывает это как «более коварную и вероятную угрозу» — непреднамеренное ускорение радикализации уязвимых лиц через эффект ELIZA, то есть очеловечивание ИИ.

Заключение

Риск радикализации через чат-ботов проявляется в двух плоскостях. С одной стороны, возможны специально созданные экстремистские ИИ-системы. С другой — и, вероятно, более актуальной — всё больше людей могут воспринимать даже «безобидные» чат-боты как доверенных собеседников, подтверждающих их страхи, заблуждения и агрессию.

Гибкость и адаптивность технологии означают, что такие исходы, хотя и редки, не являются полностью случайными. В каждом диалоге система учится подражать пользователю. Иногда — слишком хорошо.