Поведенческие боты OJSC Rostelecom Macroregional Branch South напали на сайт интернет-магазина хозяйственных товаров.
Проблема с ботами уже достаточно старая, нашествие ботов Ростелеком началось больше чем полгода назад. Однако, владельцам потребовалось некоторое время на осознание того, что само оно не рассосется, и с этим нужно что-то делать. В отчете метрики (источники, сводка) можно наблюдать вот такую картину.
Нормальное соотношение между различными видами трафика в Яндекс метрике - это когда 50-80% трафика приходит из поисковых систем. А значение прямых заходов не должно превышать 10-20%. Если есть какие-то отклонения - нужно искать проблему с ботами, открывать метрику и искать подозрительные прямые переходы с маленьким временем нахождения на странице, или с аномальным показателем отказов.
В данном случае - анализ метрики показал аномальное число прямых переходов OJSC Rostelecom Macroregional Branch South. Сомнений нет - это ботоферма, настроенная на "выгул" на определенной странице сайта. И число "гуляющих" так ботов постоянно увеличивалось. Что начало создавать проблему не только с поведенческими факторами и влиять на поисковую выдачу, но и в целом показало проблему недостаточной оптимизации магазина и ростом нагрузки на хостинг.
Для таких случаев идеально подходит вот этот кворк: Защита сайта от ботов Ростелеком, прямые заходы, Cloudflare Rostelecom.
Это специализированный кворк, в который входит блокировка и фильтрация поведенческих ботов из сети Ростелеком. Их на самом деле несколько, не только AS12389 PJSC Rostelecom Krasnodar.
Также на сайте обнаружились боты AS35048 Biterika Group LLC, NCNET Broadband customers, AS44812 IP SERVER LLC, Petersburg Internet Network ltd., и еще ряд аналогичных ASN подсетей, из которых приходят ботофермы по прямым заходам.
Понятно, что прямое повторение того, что описано в статье, не принесет аналогичного результата, так как в правилах фильтрации не просто банальное перечисление подсетей с ботами, а ряд других параметров и настроек, которые в итоге и влияют на общий результат.
Как итог - поведенческие боты Ростелеком Краснодар исчезли с сайта.
Основной вид трафика (помимо переходов из Директ) - тот что и должен быть - переходы из поиска. Число прямых переходов вернулось к стандартным 10%.
Подпишитесь на Telegram канал для того, чтобы всегда быть в курсе последних новостей и обновленных настроек для защиты от ботов через Cloudflare, а также оперативно получать новые материалы, выходящие на antiddos24.ru
Всегда нужно иметь в виду, что те советы, которые вы прочли в статьях на сайте antiddos24.ru - это лишь часть настроек, которые я делаю при профессиональной экспертной настройке фильтрации поведенческих ботов. Все остальное - это непубличные профессиональные секреты. Любая информация, становящаяся общедоступной - достаточно быстро устаревает и перестает быть эффективной.
Если вы столкнулись с повышенной ботностью в Яндекс метрике, увеличением числа прямых заходов, увеличением количества отказов - вы всегда можете заказать у меня настройку Cloudflare или Killbot.