Оглавление:
Что такое сайт названием стандарт в Яндекс метрике. Боты ли это?
В последнюю неделю владельцы сайтов стали замечать переходы с сайта https://стандарт/ в отчете Яндекс метрики. Явление массовое, наблюдается на огромном числе сайтов.
Что говорит о том, что ботоферма достаточно мощная и активная. Я посмотрел несколько десятков сайтов в метрике, на которых не была установлена защита от ботов антибот, и почти везде увидел эти переходы, реферер стандарт/
О том, что это переходы ботов, догадается даже Фома Неверующий. Такого сайта не может существовать в природе. Нет двух-трех и проч буквенного окончания доменной зоны после точки в конце.
Если посмотреть в отчете Вебвизор в метрике, в графе IP-сеть вы найдете достаточно широкий перечень источников перехода, от пустого значения (метрика не определила), до:
Данные выше я вам собрал не с одного сайта, а с десятка разных.
Также обратите внимание на то, что боты не дают отказов, а полноценно проводят на сайте время от минуты до четырех, проявляют активность. Часть из них Яндекс видит как ботов, а вот часть - уже относит к людям. Т.е. эти боты нагуляли достаточный авторитет своему профилю и в дальнейшем будут использоваться для накрутки положительных поведенческих факторов. Но не у вас, а у ваших конкурентов.
В списке сетей выше вы видите как те, которые можно спокойно заблокировать (например, Biterika, Hetzner, OVH, Selectel), так и подсети мобильных операторов (Мегафон, Билайн, МТС).
Поэтому, если вы предпочитаете справляться своими силами, то блокировка по IP диапазонам вам не подходит. Также всегда нужно иметь в виду, что чем больше размер файла htaccess, тем более будет тормозить ваш сайт, так как при любом обращении к любому файлу вашего сайта (страницы, js скрипты, css стили, шрифты, изображения, php файлы и так далее) сначала читается htaccess. И чем он больше размером, тем более неотзывчивым становится ваш сайт.
Можно попробовать заблокировать по referer. Так как слово Стандарт - на кириллице, переводим его в Punycode: xn--80aal9arbhf.
Если на сайте появится Error 500, раскомментируйте Options +FollowSymlinks. Работоспособность не проверял, так как пользуюсь Cloudflare, а в нем все решается проще.
|
1 2 3 4 |
RewriteEngine on # Options +FollowSymlinks RewriteCond %{HTTP_REFERER} xn--80aal9arbhf [NC] RewriteRule .* – [F] |
Для коммерческой настройки я использую немного другую архитектуру проверки, не зависящую от названия сайта.
Сегодня это Стандарт (такой специфический юмор у владельца ботофермы), а завтра будет например https://танядура
Однако, если вы читаете эту статью, то решение вам нужно прямо здесь и сейчас, а завтра - будет завтра, там и будем разбираться. Создайте новое правило, назовите "Блокировка ботов Стандарт".
В самом коде правила вносим условие, что если реферер содержит Стандарт (xn--80aal9arbhf в пиникоде), то блокируем переход.
Это же правило кодом, просто скопируйте его и добавьте в текстовый редактор Cloudflare.
|
1 |
(http.referer contains "xn--80aal9arbhf") |
Действие может быть как Block, так и Challenge (CAPTCHA). На ваше усмотрение. Правило может быть как отдельное, так и можно добавить эти условия в уже имеющееся правило, через OR.
На эту ботоферму многие обратили внимание только потому, что там нестандартный адрес, у сайтов таких не бывает. Все эти адреса перехода, в ботоферме задаются в отдельном файлике. Туда можно вписать все что угодно. И если у вас слишком много переходов с сайтов, на которых ссылки на ваш отродясь не было - все то же самое. Только в тот файлик добавили адреса реально существующих сайтов. Цель у всего этого - накрутка профилей поведенческих ботов, для последующего манипулирования выдачей Яндекс в свою пользу.
Функцию фильтрации ботов Cloudflare может на себя взять российский антибот Killbot. Вот к нему у РКН точно претензий нет, сервера компании находятся в РФ. Принцип работы отличается от привычного, отслеживаются не знакомые всем при настройке Cloudflare параметры (входящие IP адреса, AS подсети ботов, User Agent и прочее), а уникальные для каждого набора браузеров слепки. По отличию оригинального браузера от модифицированного, тот или иной заход определяется либо как заход реального посетителя, либо как заход бота. Чтобы не повторяться - расписывал более подробно в статье Альтернатива Cloudflare в России.
Подпишитесь на Telegram канал для того, чтобы всегда быть в курсе последних новостей и обновленных настроек для защиты от ботов через Cloudflare, а также оперативно получать новые материалы, выходящие на antiddos24.ru
Всегда нужно иметь в виду, что те советы, которые вы прочли в статьях на сайте antiddos24.ru - это лишь часть настроек, которые я делаю при профессиональной экспертной настройке фильтрации поведенческих ботов. Все остальное - это непубличные профессиональные секреты. Любая информация, становящаяся общедоступной - достаточно быстро устаревает и перестает быть эффективной.
Если вы столкнулись с повышенной ботностью в Яндекс метрике, увеличением числа прямых заходов, увеличением количества отказов - вы всегда можете заказать у меня настройку Cloudflare или Killbot.