Заказчик обратился со специфической проблемой. Вот уже долгое время в Яндекс метрике показатель отказов по сайту превышал разумные показатели. Беглый анализ Яндекс метрики указывал на то, что большинство поведенческих ботов пришло с подсети Rostelecom: IP-сеть OJSC Rostelecom Macroregional Branch South (Россия Краснодарский край).
Проблема поведенческих ботов Rostelecom (наряду с ботами Мегафон и Biterika) встречается на сайтах чаще всего.
Трафик сайта был перенаправлен с NS серверов хостинга (ns1.reg.ru, ns2.reg.ru, ns1.hosting.reg.ru, ns2.hosting.reg.ru) на NS сервера Cloudflare.
Настроены правила фильтрации трафика WAF в Cloudflare. Так как в основной ботоферме айпи адресов было не очень много (пара десятков), и каждый айпи адрес (профиль, приходящий с этого айпи адреса) посещал сайт примерно раз в пять минут, они были именно забанены на прямой заход. Все остальные прямые заходы с Ростелеком попали под проверку.
Переходы с Rostelecom не стоит блокировать, и тем более не стоит вносить в htaccess. Да, ботов море, но и люди в этой сети бывают. Возможно, вы как раз один из них. Поэтому именно аккуратно отделяем интересующий тип трафика (только прямые заходы, поисковые переходы не трогаем) и проверяем только его.
Нашествие поведенческих ботов OJSC Rostelecom Macroregional Branch South прекратилось.
Подпишитесь на Telegram канал для того, чтобы всегда быть в курсе последних новостей и обновленных настроек для защиты от ботов через Cloudflare, а также оперативно получать новые материалы, выходящие на antiddos24.ru
Всегда нужно иметь в виду, что те советы, которые вы прочли в статьях на сайте antiddos24.ru - это лишь часть настроек, которые я делаю при профессиональной экспертной настройке фильтрации поведенческих ботов. Все остальное - это непубличные профессиональные секреты. Любая информация, становящаяся общедоступной - достаточно быстро устаревает и перестает быть эффективной.
Если вы столкнулись с повышенной ботностью в Яндекс метрике, увеличением числа прямых заходов, увеличением количества отказов - вы всегда можете заказать у меня настройку Cloudflare или Killbot.