На фоне недавнего скандала с несанкционированным экспериментом учёных из Цюриха, которые запустили ботов в дискуссионные ветки Reddit, новая разработка студента из Индии лишь подлила масла в огонь: 20-летний Сайрадж Балажи представилPrismX – ИИ-инструмент, сканирующий Reddit и другие соцсети на предмет “радикального контента”, оценивающий пользователей по шкале экстремизма и способный вступать с ними в беседу от лица бота с целью “дерадикализации”.
Программа, которую Балажи продемонстрировал вживую, позволяет искать ключевые слова, отслеживать аккаунты, анализировать их публикации и выдавать “радикальный индекс” от 0 до 1. В качестве примера студент ввёл в поиск термин “fgc9” – обозначение популярного 3D-печатного оружия, часто используемого правыми экстремистами и повстанцами. Инструмент выявил пользователей, упоминавших этот термин, и назначил им высокие баллы по “радикальности”, аргументируя это попытками собрать оружие по запрещённым схемам и с минимальными затратами.
Одному пользователю было присвоено 0,85 балла с пометкой, что он запрашивал помощь в создании FGC-9, ссылаясь на подпольные схемы и интересуясь вопросами скрытности. Программа также оценивает “психологические маркеры”, “потенциал эскалации” и “влияние на группы”, пытаясь предсказать вероятность перехода к активным действиям.
Ключевой функцией PrismX является возможность ИИ-бота вступать в диалог с подозреваемым пользователем. Согласно описанию, алгоритм подстраивается под тон общения, проявляет сочувствие и поэтапно ведёт разговор в сторону отказа от радикальных взглядов. Сам разработчик признаёт, что не имеет профильного образования в области психологии и описывает себя как “технаря с управленческим уклоном”. По его словам, реального общения с пользователями Reddit он пока не проводил по этическим соображениям.
Тем не менее, подобные проекты вызывают всё больше беспокойства. Ранее исследователи из Университета Цюриха развернули ИИ-ботов в сабреддите r/changemyview, маскируя их под “жертву изнасилования”, “чернокожего противника движения BLM” и “работника приюта для жертв домашнего насилия”. Это вызвало волну критики, а Reddit и вовсе потребовал прекратить эксперимент и направил в университет официальные юридические претензии.
Новая волна интереса к подобным проектам подчёркивает растущую тревогу: если один студент может создать систему, способную массово отслеживать и влиять на поведение людей в сети, то какие возможности есть у более масштабных и закрытых структур? И главное – где проходит грань между борьбой с экстремизмом и нарушением прав человека? Reddit пока не прокомментировал ситуацию.