Исследование возможностей применения ИИ на основе диалога в сфере профилактики и контроля насилия: перспективы, ограничения и уроки
Специалисты в области предотвращения насильственного экстремизма и борьбы с ним (P/CVE) знают, что процессы радикализации все чаще происходят в интернетебез личного взаимодействия. Привлечение людей, которые редко участвуют в офлайн-мероприятиях по предотвращению насилия, остается сложной задачей. В ответ на это был разработан ряд цифровых инструментов, таких как контрпропаганда, подталкивание, создание препятствий, перенаправление и другие отвлекающие подходы, которые позволяют прерывать, перенаправлять или переосмысливать вредоносные взаимодействия в цифровой среде.
Тем не менее эмпирические доказательства их долгосрочной эффективности остаются слабыми. Показатели вовлечённости часто отражают лишь краткосрочные изменения в поведении, и неясно, оказывают ли эти меры значимое влияние на людей из группы риска или способствуют ли они вовлечению в деятельность по предотвращению насилия. В то же время автоматизированные системы по-прежнему с трудом выявляют весь спектр экстремистского контента. Хотя модерация текста стала более эффективной, производительность в отношении мультимодального контента, такого как изображения, мемы и видео, резко снижается (стр. 76149). Что ещё более важно, возможности вычислительной идентификации лиц, подверженных риску, остаются ограниченными: часто встречаются ложные срабатывания, поведенческие сигналы редки, а большинство моделей классифицируют посты, а не людей (стр. 120486). Это проблематично, поскольку основная цель P/CVE в онлайн-пространстве должна заключаться в том, чтобы объединить онлайн-взаимодействие с офлайн-поддержкой, особенно на ранних этапах, когда о человеке мало что известно, а возможности вмешательства ограничены.
Этот аналитический обзор основан на предварительных наблюдениях в рамках текущей исследовательской программы, направленной на изучение потенциала чат-ботов с искусственным интеллектом (ИИ), таких как диалоговые агенты, для устранения пробелов в существующей системе онлайн-вмешательства. Мы рассматриваем, как такие инструменты могут способствовать переключению внимания с онлайн- на офлайн-вмешательство и дополнять работу специалистов по предотвращению насилия. В частности, мы изучаем возможности и проблемы, связанные с использованием чат-ботов с ИИ в сфере предупреждения и контроля насилия. Мы делаем это, предоставляя информацию о текущей работе и изучаяпути ответственного использования чат-ботов в P/CVE.
Почему существующие онлайн-программы P/CVE неэффективны
Онлайн-платформы стали играть ключевую роль на ранних стадиях радикализации. Для большинства пользователей они являются как правило, первой точкой соприкосновения с идеологией насильственного экстремизма (стр. 8), задолго до того, как становится возможным потенциальное взаимодействие со службами поддержки или специалистами. Все более захватывающий характер цифровой среды еще больше стирает границы между онлайн- и офлайн-мирами. Этот переход в цифровую среду затрудняет своевременное вмешательство. Поскольку радикализация теперь происходит через постоянные онлайн-контакты, вмешательство должно осуществляться непосредственно в этом цифровом пространстве.
Существует целый ряд мер, направленных на адаптацию к этому переходу в онлайн-пространство. К ним относятся гибридные информационно-просветительские инициативы, такие как онлайн-кампании, меры по обеспечению безопасности, контрпропаганда и контрнарративы, а также подходы, направленные на перенаправление или отвлечение внимания. Информационно-просветительская деятельность все чаще сочетает в себе онлайн- и офлайн-взаимодействие. Меры по обеспечению безопасности основаны на структурных или алгоритмических вмешательствах, таких как удаление контента, снижение его популярности или использование фильтров (например, «Вы уверены, что хотите поделиться этим постом?»). Контрпропаганда и контрнарративы направлены на то, чтобы оспорить точку зрения или предложить альтернативу. Подходы, основанные на перенаправлении, помогают пользователям перейти к более безопасному контенту или воспользоваться услугами поддержки с помощью таргетированной рекламы. Хотя многие из этих мер демонстрируют многообещающие показатели вовлеченности, их способность обеспечивать устойчивые результаты в области профилактики остается неясной.
Проблема в том, что добиться устойчивого (человеческого) взаимодействия с помощью мер воздействия по-прежнему сложно. Большинство мер воздействия в онлайн-пространстве работают на поверхностном уровне, сосредоточившись на однократном взаимодействии (например, нажатии на рекламу или просмотре подсказки), цель которого — привлечь внимание или прервать вредоносную активность. Они редко перерастают в динамичные, непрерывные обмены, которые со временем адаптируются и поддерживают вовлеченность с помощью последовательности последующих точек взаимодействия. Одномоментные взаимодействия могут быть повторены для повышения эффективности (стр. 660), но им не хватает долгосрочных механизмов формирования доверия и убеждения, которые, как известно, способствуют психологическим и поведенческим изменениям (стр. 5). Таким образом, распространённые методы взаимодействия выявляют и создают точки входа, но не обеспечивают непрерывность отношений, необходимую для эффективной работы по дерадикализации и для перехода от онлайн- к офлайн-взаимодействию.
Этот пробел отчасти объясняется природой ранней стадии радикализации, когда люди могут испытывать двойственные чувства, занимать оборонительную позицию или бояться осуждения. Без выстраивания отношений первоначальный интерес обычно угасает (стр. 37). Традиционные онлайн-вмешательства, как правило, не направлены на поддержание мотивации, постепенное изучение проблем или поддержку изменений в поведении во всех точках взаимодействия. Это приводит к возникновению «узкого места»: технологические системы могут выявлять пользователей платформ и перенаправлять их, но специалисты по предотвращению и реагированию на киберугрозы должны уметь поддерживать с ними взаимодействие, зачастую при ограниченных ресурсах и с задержкой доступа.
Аргументы в пользу использования чат-ботов с ИИ в сфере P/CVE
Появление генеративного искусственного интеллекта и диалоговых агентов открыло новые возможности для разработки увлекательных диалоговых программ. В других сферах, например в поддержке психического здоровья, исследования показали многообещающие результаты. Например, чат-боты, использующие когнитивно-поведенческую терапию, доказали свою эффективность в снижении барьеров, препятствующих обращению за помощью (например, за счет поощрения взаимодействия с офлайн-службами поддержки), и в поддержании взаимодействия с пользователями в долгосрочной перспективе. Преимущества такого взаимодействия с использованием ИИ заключаются в возможности проактивно отвечать персонализированными сообщениями, снижать вероятность осуждения и предоставлять персонализированные ответы в больших масштабах. Они могут стать надёжными точками соприкосновения, исключающими осуждение, что может сделать сложные разговоры более безопасными. Несмотря на многообещающие перспективы, эти возможности в значительной степени не проверены эмпирически в сфере P/CVE.
Совместное проектирование позитивного вмешательства с использованием чат-ботов ИИ
Чтобы восполнить этот пробел, мы запустили более масштабную исследовательскую программу, которая объединяет несколько проектов, в том числе работу, поддержанную Австрийским агентством по содействию научным исследованиям (FFG) и Австрийским научным фондом (FWF). Программа предполагает сотрудничество с неправительственными организациями в области предотвращения насилия, работы с молодёжью и дерадикализации. В рамках этих проектов наша исследовательская группа взаимодействует с практиками посредством семинаров с участием многих заинтересованных сторон и постоянного диалога, чтобы понять их потребности, ожидания и опасения в отношении инструментов ИИ, основанных на диалоге, в сфере предотвращения и противодействия насильственному экстремизму. Одним из таких проектов является финансируемая Фондом Форда инициатива Может ли ИИ укрепить психологическую устойчивость? Противодействие идеологической обработке. В рамках программы используется этически обоснованная методология для изучения того, в каких случаях чат-боты с искусственным интеллектом могут способствовать профилактике, а в каких возникают риски и ограничения в реальных условиях. Работа продолжается, но уже можно сделать несколько предварительных выводов, которые помогут направить текущие дискуссии в нужное русло.
Предварительные выводы: возможности, противоречия и нерешённые вопросы
Разрозненные реальности и социотехническая сложность
Совместные семинары с участием специалистов-практиков показали, что практика противодействия насильственному экстремизму далека от единообразия даже в сравнительно однородных контекстах. Способы вмешательства различаются в зависимости от организации и региона, и специалисты-практики подчеркнули, что в этой сфере по-прежнему отсутствуют единые подходы к взаимодействию на ранних этапах, оценке или эскалации. Отсутствие общих стандартов ограничивает эффективность и масштабируемость текущих мер. Например, в Германии специалисты-практики, участвовавшие в нашем исследовании, отметили заметные региональные различия в проявлениях экстремизма (аналогичные региональные различия в проявлениях экстремизма наблюдались и в Нидерландах). Практикующие специалисты отмечают, что в некоторых западных регионах ультраправые группировки всё чаще принимают форму сетевых, онлайн- и транснациональных сообществ, сформированных постиндустриальными цифровыми культурами. В то же время они считают, что в Восточной Германии по-прежнему преобладают местные и традиционные ультраправые структуры. Такое восприятие со стороны специалистов показывает, насколько разнообразны контексты профилактики. Эти различия усложняют разработку профилактических рабочих процессов с использованием чат-ботов, поскольку нет единого мнения о том, какие ценности, процедурные шаги или пороговые значения вмешательства должен представлять чат-бот.
Этические границы, расстановка сил и хрупкость доверия
В ходе нескольких практических семинаров и интервью, проведённых в 2025 году в рамках двух текущих исследовательских проектов, посвящённых инструментам поддержки ИИ в сфере P/CVE, специалисты-практики подчеркнули этическую неоднозначность использования чат-ботов в таких деликатных сферах, как P/CVE. Опасения были связаны с подотчётностью, прозрачностью и управлением данными. В частности, с тем, кто будет управлять такими системами, контролировать их и обеспечивать их безопасность, а также с тем, как будут обрабатываться раскрытия информации. Участники были единодушны в том, что чат-боты должны облегчать, а не заменять человеческие отношения, и предостерегли от скрытого или чрезмерно напористого использования, которое может быть воспринято как манипуляция или слежка. Некоторые участники также подчеркнули глобальную асимметрию власти: если чат-боты основаны на наборах данных и нормах, сформированных институтами Global North, они рискуют навязать внешние ценности или способствовать восприятию цифрового империализма. Доверие оказалось хрупким ресурсом: одна неверная интерпретация, несвоевременное сообщение или неясное указание на то, что «человек» на самом деле является чат-ботом с искусственным интеллектом, могут навсегда подорвать желание обращаться за помощью. Эти опасения в совокупности определяют этические границы экспериментов с чат-ботами с искусственным интеллектом, поскольку диалог с ИИ-агентом предполагает социально-технические модели взаимодействия, которые фундаментально отличаются от перехода по ссылке в персонализированной рекламе или обращения в службу поддержки. Исследования в области взаимодействия человека и компьютера показывают, что пользователи часто наделяют диалоговые системы социальными функциями, что может стирать границы между человеком и машиной и усиливать риски, связанные с отношениями
Риски, неизвестные факторы и условия для ответственного использования
Опираясь на исследования в области безопасности ИИ и взаимодействия человека с ИИ, мы пришли к выводу, что риски долгосрочного взаимодействия человека с ИИ остаются малоизученными. Нам по-прежнему не хватает данных о том, как продолжительный диалог с диалоговыми агентами может повлиять на зависимость, ожидания от отношений или доверие к системам поддержки людей, особенно в деликатных профилактических контекстах. Новые исследования о вреде взаимодействия указывают на то, что такие риски накапливаются со временем и могут быть вызваны социальными реакциями пользователей по отношению к системам ИИ, а не отдельными результатами (стр. 1308). Эта динамика, скорее всего, усиливается в условиях P/CVE, где часто встречаются эмоциональная нестабильность и борьба за идентичность, что поднимает вопросы о том, как следует ограничивать чат-ботов и в каких случаях необходима поддержка со стороны человека. Мы также обнаружили, что социотехническая грамотность (то есть способность критически оценивать, как социальные и технические механизмы влияют на результат) в этой области всё ещё находится в процессе формирования, что иногда приводит к чрезмерно оптимистичным или упрощённым представлениям о возможностях ИИ. Для ответственного внедрения потребуются высококачественные и контекстуально релевантные обучающие данные, учитывающие культурные особенности и многоязычные ответы, надёжные механизмы обеспечения безопасности и эскалации, а также чётко ограниченные точки вмешательства, применимые только в ситуациях с низким уровнем риска на ранних этапах. Эти требования отражают более широкие проблемы, выявленные в ходе исследований в области безопасности ИИ, в частности сложность обеспечения предсказуемого поведения, соответствия намерениям человека и надёжной работы в различных сценариях из реальной жизни. На организационном уровне потребуются новые рабочие процессы, определения ролей и меры предосторожности, чтобы чат-боты дополняли, а не дестабилизировали существующие методы предотвращения. Эти факторы неопределённости подчёркивают необходимость осторожных, поэтапных экспериментов и постоянной оценки результатов.
Заключение: перспективы использования чат-ботов с искусственным интеллектом для профилактики и контроля уязвимостей
Конструктивный подход к использованию чат-ботов с искусственным интеллектом в сфере предупреждения и реагирования на насильственные преступления заключается в продолжении исследовательского сотрудничества между специалистами-практиками, гражданским обществом, государственными структурами и, при необходимости, платформами. Мы продолжаем проводить контролируемые эксперименты с ранними версиями чат-ботов, чтобы изучить их возможности, динамику доверия и этические границы взаимодействия с использованием искусственного интеллекта. В более широком смысле эффективность применения ИИ в сфере профилактики и борьбы с преступностью будет зависеть от социотехнической грамотности, понимания со стороны специалистов-практиков и прозрачного управления, которые обеспечат строгий контроль, учёт культурных особенностей и самостоятельность пользователей при использовании чат-ботов в будущем. Наши наблюдения указывают на ряд последствий. В частности, необходимо разработать чёткие инструкции по использованию ИИ в деликатных ситуациях/ситуациях повышенного риска, поскольку злоупотребление может подорвать доверие или причинить вред. Кроме того, мы видим потенциальную ценность в установлении базовых стандартов обработки данных, обеспечения конфиденциальности, прозрачности и контроля со стороны гражданского общества для поддержания доверия к усилиям в области противодействия угрозам и уязвимостям. Эти стандарты будут опираться на меры защиты, предусмотренные в таких документах, как Закон ЕС об искусственном интеллекте, и способствовать их совершенствованию.
–
Кевин Марк Бласиак — научный сотрудник с докторской степенью на факультете информатики Венского технического университета, где он возглавляет кружок «Ответственный компьютинг» в Центре технологий и общества (CTS). Он также является членом Консорциума по преподаванию доверия и безопасности. Его исследования посвящены управлению технологиями, доверию и безопасности, а также технологиям убеждения, в частности этичным чат-ботам, предназначенным для противодействия насильственному экстремизму в онлайн- и офлайн-контекстах, включая исправительные учреждения и реабилитационные центры. Он сотрудничает с неправительственными организациями, занимающимися предотвращением насилия, и международными организациями в вопросах ответственного использования технологий, включая инициативы в области искусственного интеллекта и правоохранительной деятельности. Он получил степень доктора философии в области информационных систем в Университете Квинсленда.