Оглавление:
Если вам уже пришлось разобраться в том, что такое поведенческие боты, вы обязательно захотите узнать, что за отказной трафик из OJSC Rostelecom Macroregional Branch South и Metropolitan branch of OJSC MegaFon вы видите в Яндекс метрике. А также найдете чуть ниже весь диапазон ip адресов Metropolitan branch of ojsc Megafon.
Изучая метрику, вы не раз наткнетесь на подсеть Metropolitan branch of OJSC MegaFon AS25159. Это Мегафон. И это не имеет никакого отношения к метрополитену. Metropolitan расшифровывается как метрополия, столичный регион Moscow. В нашем случае - столичный регион сети Мегафон.
Большинство заходов на ваш сайт с сети Мегафон - это ботные заходы, совершаемые с так называемых ботоферм.
Ботоферма - это огромное число мобильных модемов с активированными картами мобильных операторов внутри, объединенные в общую сеть. С них совершаются заходы на сайты от имени ботов, имитирующих живых посетителей. Боты открывают страницы сайта, двигают мышкой, скроллят страницу, иногда переходят по ссылкам. Либо просто заходят, дожидаются без движения когда пройдет 15 секунд (либо 0 секунд и сразу отказ в отчетах Яндекс метрики), и выходят.
Боты прокачивают свой профиль. У ботофермы десятки тысяч ботов, а то и сотни тысяч. Чтобы поисковая система воспринимала бота как реального человека, боту нужен цифровой профиль. Его уникальный снимок, история посещений страниц, история действий на этих страницах. Это как ваш профиль в социальной сети. Если вы видите пустой профиль с одним рекламным объявлением - вы пройдете мимо. А если там есть личные фотографии, лайки и репосты, какие-то записи, информация о человеке, лента забита какими-то заметками - вы будете воспринимать эту страницу совершенно по-другому.
Вот чтобы профиль был заполнен - поведенческие боты и ходят по сайтам, которые у них указаны в списках на обход. Как правило, это сайты где уже есть своя посещаемость, эти сайты занимают определенные позиции в поисковой выдаче. Сайт Васи, состоящий из одной фотографии его котика, поведенческих ботов точно не заинтересует.
Поэтому, если у вас на сайте всплеск прямых заходов, это вовсе не значит, что конкуренты заказали на ваш сайт атаку ботов с целью понизить позиции вашего сайта в поисковых системах (всю эту кашу с отслеживанием поведения посетителей на сайте заварил Яндекс). Хотя и такое может быть, и иногда встречается. Но как правило, ваш сайт просто постепенно попадает в списки на выгул ботов, наращиванием их цифрового досье, все большему и большему количеству ботоферм.
Банить конкретные адреса бесполезно. Так вы заблокируете еще и настоящих потенциальных покупателей. Которым попадется этот динамический айпи адрес мобильного оператора.
У Мегафона много различных подсетей. Кроме Metropolitan branch of OJSC MegaFon AS Num 25159, вы еще можете встретить в отчетах метрики:
и другие префиксы сети Мегафон.
Есть два основных способа избавления сайта от нежелательного трафика Metropolitan branch of OJSC MegaFon.
В этот файл (находится в корневой папке вашего сайта на хостинге) вносятся айпи адреса или диапазоны адресов, которым нужно блокировать доступ к вашему ресурсу.
По ссылке вы найдете IP диапазоны (ip сети) Metropolitan branch of OJSC MegaFon.
https://asn.ipinfo.app/api/text/htaccess/AS25159
Только 1000 раз подумайте, стоит ли что-то из этого вносить в блокировки в файл htaccess.
Для мобильной ботофермы не годится, так как ферма ботов попользовалась этим айпи адресом лишь короткое время, а вот блокировать доступ к своему сайту уже реальным посетителям вы будете постоянно. А значит, терять трафик и деньги.
Также стоит отбросить мысль о блокировке всего оператора по диапазонам айпи адресов. А то мало ли, появится дурная мысль избавиться через htaccess от надоедливых ботов Metropolitan branch of OJSC MegaFon одним махом.
Cloudflare позволяет более гибко фильтровать трафик. Например, переходы пользователей Мегафон из поиска не проверяются, а прямые переходы с подсети Metropolitan branch of OJSC MegaFon - проверяются.
Здесь уже возможна не просто блокировка, а перенаправление посетителя на промежуточную страницу, где Cloudflare сначала проверяет его на человечность. А если есть сомнения - то предлагает нажать на кнопочку - я не бот. Как правило, поведенческие боты ее нажать не могут. А значит, остаются на этой промежуточной странице до тех пор, пока им не надоест. А вот на ваш сайт они не попадают.
(насчет метро - шутка).
Поведенческих ботов нужно фильтровать обязательно. Яндекс отслеживает поведение посетителей на сайте. Растет процент отказов. А значит, как только у вас появится слишком много переходов с коротким временем присутствия на сайте, - ваш сайт начнет терять позиции в поиске.
У Яндекса все хорошо. Выручка растет, рекламные доходы ставят рекорды каждый квартал. А все из-за того, что аудитория Яндекса увеличилась в несколько раз, за счет ботов. Часть ботов нажимает на рекламные объявления на сайтах (на рекламу Яндекс Директ), тем самым почти мгновенно опустошая кошельки рекламодателей.
Если задавать вопрос по поводу поведенческих ботов в техподдержке, то ничего путного они не расскажут. Не будут же они сообщать о том, что рынок поведенческих ботов придумал сам Яндекс.
Спасение рук утопающего - дело рук самого утопающего.
Видите увеличение параметра роботности на сайте, видите что неестественно начал расти трафик прямых переходов - срочно начинайте заниматься этим вопросом.
С Ростелекомом та же история, что и с Мегафоном. Если на вас уже напали поведенческие боты из Ростелеком Краснодар или боты с подсети Tula - нужно подумать, как их блокировать.
Блокировка подсети PJSC Rostelecom AS12389 в htaccess - такая же плохая идея, как и блокировка Мегафона. Каждый десятый посетитель будет живым человеком, и вы его заблокируете. За компанию с девятью ботами.
Но если очень чешется - вот ссылка на диапазоны айпи адресов Ростелеком (там около 3000 строк).
https://asn.ipinfo.app/api/text/htaccess/AS12389
С Cloudflare у вас уже появляется возможность не скакать по граблям. Т.е. не блокировать все что движется, включая реальных посетителей из сетей Ростелеком AS12389 и Мегафон, а разделять трафик. Например, вы можете создать правило, что прямые заходы на сайт с указанных подсетей сначала проходят автоматическую проверку браузера. И только после успешного ее прохождения - попадают на сайт.
Соответственно, если посетитель с IP адресом Ростелеком перейдет на ваш сайт из поисковой системы - он проверяться не будет.
Такой гибкости невозможно достичь, используя более примитивные инструменты, наподобие списков блокировок htaccess.
Функцию фильтрации ботов Cloudflare может на себя взять российский антибот Killbot. Вот к нему у РКН точно претензий нет, сервера компании находятся в РФ. Принцип работы отличается от привычного, отслеживаются не знакомые всем при настройке Cloudflare параметры (входящие IP адреса, AS подсети ботов, User Agent и прочее), а уникальные для каждого набора браузеров слепки. По отличию оригинального браузера от модифицированного, тот или иной заход определяется либо как заход реального посетителя, либо как заход бота. Чтобы не повторяться - расписывал более подробно в статье Альтернатива Cloudflare в России.
Подпишитесь на Telegram канал для того, чтобы всегда быть в курсе последних новостей и обновленных настроек для защиты от ботов через Cloudflare, а также оперативно получать новые материалы, выходящие на antiddos24.ru
Всегда нужно иметь в виду, что те советы, которые вы прочли в статьях на сайте antiddos24.ru - это лишь часть настроек, которые я делаю при профессиональной экспертной настройке фильтрации поведенческих ботов. Все остальное - это непубличные профессиональные секреты. Любая информация, становящаяся общедоступной - достаточно быстро устаревает и перестает быть эффективной.
Если вы столкнулись с повышенной ботностью в Яндекс метрике, увеличением числа прямых заходов, увеличением количества отказов - вы всегда можете заказать у меня настройку Cloudflare или Killbot.