Сайт бронирования авиационной тематики. Огромный наплыв поведенческих ботов Ростелеком, просто вал заявок в формы обратной связи от ботов из подсети Biterika. Почти 90% трафика сайта - это прямые заходы, со средним временем пребывания 13 секунд, одной страницей и отказами 65%. Боты обращались напрямую к форме отправки формы обратной связи, без перехода на сайт.
Задача - убрать поведенческих ботов с сайта, при этом оставив реальным посетителям возможность заходить на сайт напрямую, не получая при этом автоматическую проверку браузера, т.е. без показа капчи.
Блокировка ботов состоит из нескольких этапов:
Сканеры и парсеры - это боты наподобие Ahrefs, Semrush, фейковые боты, представляющиеся Googlebot (но при этом приходящие из других сетей, например Hetzner или Amazon). Т.е. боты с user agent Googlebot/2.1 (+http://www.googlebot.com/bot.html).
В устанавливаемых мной правилах один из разделов посвящен именно блокировке вредоносных ботов. В нем перечислены наиболее часто встречающиеся User Agent ботов, нагружающие хостинг, не но несущие практической пользы для сайта.
Поведенческих ботов Biterika мы просто блокируем. Это целиком спамная сеть, специализирующаяся на продаже прокси адресов и программного обеспечения для спама и накрутки поведенческих факторов.
Поведенческих ботов Ростелеком (AS12389 ROSTELECOM, AS25490 PJSC Rostelecom Krasnodar) и Megafon (AS25159 SONICDUO) мы не блокируем (здесь есть и реальный трафик), а ставим под дополнительную проверку. Также под проверку попадают боты из других распространенных ботоферм.
В итоге трафик сайта стабилизировался, практически исчезли прямые переходы. И при этом если ввести адрес сайта в адресную строку браузера - проверки не будет, и вы даже не догадаетесь, что на сайте установлена фильтрация трафика Cloudflare.
Теперь 80% трафика - это прямые переходы на сайт от заинтересованных посетителей, среднее время пребывания на сайте превышает 1 минуту. Процент отказов снизился до стандартного по нише.
По отчету Яндекс метрики все наглядно видно. Как было ранее, и что изменилось после настройки правил фильтрации.
Сайт клиента спасен, поведенческие боты исчезли, также прекратился спам в формы обратной связи (заполнение форм с указанием несуществующих номеров).
Подпишитесь на Telegram канал для того, чтобы всегда быть в курсе последних новостей и обновленных настроек для защиты от ботов через Cloudflare, а также оперативно получать новые материалы, выходящие на antiddos24.ru
Всегда нужно иметь в виду, что те советы, которые вы прочли в статьях на сайте antiddos24.ru - это лишь часть настроек, которые я делаю при профессиональной экспертной настройке фильтрации поведенческих ботов. Все остальное - это непубличные профессиональные секреты. Любая информация, становящаяся общедоступной - достаточно быстро устаревает и перестает быть эффективной.
Если вы столкнулись с повышенной ботностью в Яндекс метрике, увеличением числа прямых заходов, увеличением количества отказов - вы всегда можете заказать у меня настройку Cloudflare или Killbot.