Последнее время значительно возросла активность web-ботов, индексирующих трафик. Помимо корректно работающих ботов распространение получили “неистовые” боты, игнорирующие правила индексирования robots.txt, лезущие с десятков тысяч разных IP, притворяющиеся легитимными пользователями и не придерживающиеся разумной политики интенсивности отправки запросов. Данные боты создают огромную паразитную нагрузку на серверы, нарушают нормальную работоспособность систем и отнимают время администраторов. Активность подобных ботов воспринимается многими как вредоносные действия.
В качестве меры для замедления активности подобных ботов, а также ботов, сканирующих неисправленные уязвимости в типовых web-приложениях, один из администраторов предложил метод “zip-бомбы”. Суть метода в том, что web-боту в ответ на запрос страницы передаётся содержимое, эффективно сжатое методом “deflate”, размер которого при распаковке многократно превышает размер переданных по сети данных. Например, при использовании метода “deflate” содержимое из /dev/zero, упакованное в 10 МБ, при распаковке потребует 1 ГБ дискового пространства. При использовании метода сжатия “brotli” удалось добиться уровня, при котором передача 81 МБ приводит к распаковке 100 ТБ данных.
Активировать подобную защиту можно через создание ловушек, которые доступны по невидимым ссылкам, отмеченным флагом ‘rel=”nofollow”‘, исключённым из индексации через robots.txt и срабатывающим при достаточно высоком уровне рекурсии для ботов пытающихся притворяться обычными пользователями. На практике предложенный метод применять не рекомендуется, так как при случайной индексации подобной ловушки ботом Google, сайт может быть занесён в чёрный список и начнёт помечаться вредоносным в браузере Chrome с включённым режимом “Safe Browsing”.