Выпуск Snoop 1.3.3, OSINT-инструмента для сбора информации о пользователе из открытых источников

Опубликован выпуск проекта Snoop 1.3.3, развивающего криминалистический OSINT-инструмент, который разыскивает учётные записи пользователей в публичных данных (разведка на основе открытых источников). Программа анализирует различные сайты, форумы и социальные сети на предмет наличия искомого имени пользователя, т.е. позволяет определить на каких сайтах имеется пользователь с указанным ником. Проект разработан на материалах исследовательской работы в области скрапинга публичных данных. Сборки подготовлены для Linux и Windows.

Код написан на языке Python и распространяется под лицензией, ограничивающей применение только для личного пользования. При этом проект является ответвлением от кодовой базы проекта Sherlock, поставляемой под лицензией MIT (форк был создан из-за невозможности расширить базу сайтов).

Snoop внесён в российский Единый реестр российских программ для электронных вычислительных машин и баз данных с заявленным кодом 26.30.11.16: “Программное Обеспечение, обеспечивающее выполнение установленных действий при проведении оперативно-розыскных мероприятий:: No7012 приказ 07.10.2020 No515”. На данный момент Snoop выслеживает наличие пользователя на 2279 интернет ресурсах в полной версии и по самым популярным ресурсам в Demo-версии.

Основные изменения:

  • Добавлены видео-подсказки по быстрому запуску snoop для пользователей новичков, которые не работали с CLI.
  • Добавлен текстовый отчет: файл ‘bad_nicknames.txt’ в который записываются пропущенные дата/nickname(s) (недопустимые имена/телефоны/некоторые_спецсимволы), обновляя файл (режим дозаписи) в ходе поиска, например с опцией ‘-u’.
  • Добавлен режим корректной остановки ПО с высвобождением ресурсов для разных версий/платформ Snoop Project (ctrl+c).
  • Добавлена новая опция ‘–headers’ ‘-H’: задать вручную пользовательский user-agent. По умолчанию на каждый сайт создаётся случайный, но реальный юзерагент или выбирается/переопределяется из БД Snoop с расширенным заголовком для обхода некоторых ‘защит CF’.
  • Добавлена snoop-заставка и некоторые emoji, когда nickname(s) для поиска не заданы или выбраны противоречивые параметры в аргументах CLI
    (исключение: snoop for Windows OS — старая CLI OS Windows 7).
  • Добавлены различные информационные панели: в отображении БД list-all; в режим verbose; новый блок ‘snoop-info’ с опцией ‘-V’; с опцией -u
    разделение на группы nickname(s): валидные/невалидные/дубликаты; в CLI Yandex_parser-a (full-версии).
  • Обновлён режим поиска с опцией ‘–userlist’ ‘-u’ расширен алгоритм детектирования nickname(s)/email (просто попробуйте его использовать снова).
  • Ускорен в разы вывод БД в CLI для методов опции ‘list-all’.
  • Для Snoop for Termux (Android) добавлено авто-открытие результатов поиска во внешнем браузере без перекрытия результатов в CLI
    (по желанию пользователя открытие результатов во внешнем веб-браузере можно проигнорировать).
  • Обновлен внешний вид вывода результатов в CLI при поиске nickname(s). Обновлен вывод лицензии в стиле Windows XP.
    Обновлён прогресс (ранее прогресс обновлялся по мере поступления данных и из-за этого казалось, что подвис в full-версиях),
    прогресс обновляется несколько раз в сек. или по мере поступления данных в режиме вербализации опции ‘-v’.
  • В html-отчеты добавлена новая кнопка ‘Doc’, ведущая на документацию ‘Общее руководство Snoop Project.pdf’/онлайн.
  • В txt-отчеты также, как и в html/csv-отчеты добавлен параметр ‘сессия’.
  • Обновлены все опции Snoop Project, которые приближены к рекомендациям POSIX (см snoop –help).
    Старый вариант использования аргументов в CLI с подтверждением [y] обратно совместим.
  • Yandex_parser обновлён до версии 0.5: убрано — Я.коллекции (ресурс неактивен).
    Добавлен Я.аватар: logina/email. В многопользовательский режим в txt; cli; html добавлены/обновлены метрики:
    ‘валидные логины/незареганные_пользователи/необработанные данные/дубликаты’, метки логинов.
  • Подкаталоги сохранённых отчетов/результатов группируются: plugin(s) в один каталог, nickname(s) в другой.
  • Налажен корректный выход из ПО при попытке с опцией ‘-v’ протестировать сеть при её отсутствии/сбое .
  • Исправлено в CLI: индивидуальная сессия/трафик/время при поиске в одной сессии нескольких имен или с опцией ‘-u’ или с опцией ‘-v’.
  • Исправлено в csv-отчетах: время отклика сайта разделяется ‘верным дробным знаком’:: точка или запятая с учётом локали пользователя
    (т.е. число в таблице всегда цифра независимо от дробного знака, что прямо влияет на сортировку результатов по параметру.
    Данные ниже 1 Кб округляются точнее, свыше 1 Кб без дробной части. Общее время (было в мс., теперь в с./сот).
    При сохранении отчетов с опцией ‘-S’ или в обычном режиме для сайтов использующих специфичный метод детектирования nickname(s):
    (username.salt) теперь так же подсчитываются размер данных сессии.
  • Выполнена миграция build-версий Snoop Project с python 3.7 на python 3.8 (кроме EN-версий).
Release. Ссылка here.