Как только закончились школьные каникулы, на огромном числе сайтов (и не только на этом конкретном, это общая тенденция) взлетело количество прямых переходов с отказом из сетей поведенческих ботов Ростелеком.
На графике из метрики это выглядит особенно эпично (красная линия).
В итоге более 70% трафика сайта - это прямые переходы поведенческих ботов с отказом, или временем просмотра менее 15 секунд. При нормальном соотношении - не более 10-20% трафик прямых переходов, а остальное - это переходы из поисковых систем, переходы из Яндекс Директ и прочее.
Лишних переходов поведенческих ботов - более 4500 в день. Характерная особенность - это в основном мобильные устройства Android, первый заход на сайт (каждый поведенческий бот из списка заходит на целевой сайт из списка только один раз, для получения Cookies Яндекс метрики), время на сайте - ровно столько, сколько нужно для того, чтобы Яндекс не засчитывал этот заход как отказ (15 секунд).
Либо заход с отказом. Общее время на сайте 0:00.
Как правило, заходы фермы ботов настраиваются на одни и те же страницы, боты ходят по заданному расписанию, несколько раз в минуту с разными Фингерпринт (отпечаток браузера, Browser Fingerprint). В среднем около 100 переходов с одного айпи, но разными, уникальными ботами. В каждом заходе у бота разные параметры устройства, разные User Agent, могут отличаться разрешения экрана и другие параметры.
Ботов никто не перенастраивает, поэтому, даже если сменить у нее адрес - боты будут все равно ходить туда-же, просто уже на страницу 404.
Также, некоторый процент переходов - это переходы с хостинга Bitreika. Это специализированный хостинг для аренды IP прокси адресов для нагула поведенческих ботов.
Огромную нагрузку на хостинг создают различные боты AI, например Claudebot (аналог OpenAI ChatGPT и прочих чат-ботов искусственного интеллекта).
Содержимое скриншота - это за 10 секунд. А потом владельцы сайтов удивляются, почему хостер просит перейти на более дорогой тарифный план, в метрике же совсем мало посетителей. Подобные боты не относятся к поведенческим и в метрике не отображаются. Но это не отменяет создаваемой им нагрузки на хостинг, а соответственно увеличения времени отклика страниц, подтормаживания при загрузке, и прочих аналогичных прелестей.
Не отстают и другие аналогичные боты - Amazonbot, боты маскирующиеся под Googlebot и YandexBot, YandexMobileBot. При каждой настройке Cloudflare в логах посещений встречается PetalBot и Applebot.
Все это - желающие увеличить вам стоимость оплаты за хостинг. Блокировка всего лишнего, тех кого вы к себе на сайт не приглашали - такую нагрузку уменьшает.
Но и про тысячи заходов поведенческих ботов не забываем. Никакой пользы, кроме ухудшения поведенческих факторов, от них ожидать не стоит.
Для решения всех этих проблем подходит следующий кворк: Защита сайта от ботов Ростелеком, прямые заходы, Cloudflare Rostelecom.
Результат работ - на скриншоте.
Подпишитесь на Telegram канал для того, чтобы всегда быть в курсе последних новостей и обновленных настроек для защиты от ботов через Cloudflare, а также оперативно получать новые материалы, выходящие на antiddos24.ru
Всегда нужно иметь в виду, что те советы, которые вы прочли в статьях на сайте antiddos24.ru - это лишь часть настроек, которые я делаю при профессиональной экспертной настройке фильтрации поведенческих ботов. Все остальное - это непубличные профессиональные секреты. Любая информация, становящаяся общедоступной - достаточно быстро устаревает и перестает быть эффективной.
Если вы столкнулись с повышенной ботностью в Яндекс метрике, увеличением числа прямых заходов, увеличением количества отказов - вы всегда можете заказать у меня настройку Cloudflare или Killbot.