Боты с Германии 🇩🇪🇩🇪🇩🇪 как заблокировать поведенческих ботов если Яндекс метрика не показывает IP-сеть

При анализе трафика сайта в Яндекс метрике вы можете заметить странные переходы из Германии. Как правило, это плохие переходы, с небольшой активностью и временем просмотра в несколько секунд, либо вообще отказом, а чаще всего - на сайт заходят роботы по 0 сек из Германии. Это сильно портит статистику в метрике, и негативно сказывается на поведенческих факторах сайта. Некоторые владельцы сайтов начинают искать, как запретить доступ на сайт посетителей из Германии.

А может удалить счетчик Метрики и проблема ботов решится? Ну или включить фильтрацию ботов в метрике

Фильтровать ботов по поведению в Метрике - это абсолютно бесполезное занятие. Во-первых, Метрика видит ботов как ботов в очень ограниченном проценте случаев. А во-вторых - это игра слов и самообман. Метрика ничего не фильтрует, а просто исключает из отчета показ части трафика. Боты при этом никуда не денутся, и дальше будут оказывать на сайт негативное влияние.

Более того, недавно произошла утечка некоторых параметров поискового алгоритма Google. Исследователи данных смогли убедиться в том, что многие утверждения поисковой системы об алгоритме ранжирования - ложь. Например, стало известно, что Google, также как и Яндекс, учитывает поведенческие факторы (хоть и не в такой степени, и упор делается на переходы по ссылкам).

Подтвердилось наличие "песочницы" для молодых сайтов.

А еще то, что информацию о трафике на сайт Google получает не только из Гугл Аналитикс или как он там теперь называется, но и непосредственно из своего браузера Хром. Который, как вы уже догадались, передает в Корпорацию Добра различные данные об устройстве, на котором запущен браузер. Включая данные о том, какие сайты вы открываете. Даже если на них нет ни одного счетчика.

Точно такая же история и у Яндекс. Яндекс Браузер - это не только браузер. Лично мне попадались ответы техподдержки Яндекс клиентам о том, что они анализируют не только данные из метрики, с намеками о том, что Яндекс Браузер и различные расширения для других браузеров от Яндекса устанавливаются не просто так, а еще и передают данные о вашей интернет-активности куда надо.

Т.е. в нашем случае, проблему ботов из Германии игнорировать нельзя, ее нужно как-то решать.

Анализ Яндекс метрики на наличие ботов

Вебвизор не дает никакой информации, только то, что в данном случае это переходы со стационарного компьютера с различных городов и земель Германии.

Если посмотреть отчет Посетители и клиенты, то можно увидеть, что таких переходов значительно больше, чем записалось в Вебвизор. В данном случае было 22 захода, скриншот уже не прикрепляю, другой полезной информации там нет.

Но на этом собственно и все, больше ничего путного Метрика не предоставляет. Раздел IP-сеть пуст. Что делать, как заблокировать этих ботов на сайте?

Как определить IP бота, если в Метрике только страна. Вариант через хостинг

На примере хостинга Beget. У других хостингов аналогично, главное чтобы там была включена запись логов, а путь к файлу - это уже нюансы. Нас интересует файл access.log

Открываем пункт меню Журналы.

И убеждаемся в том, что для нужного домена включен пункт Журналы доступа.

После чего через раздел Файловый менеджер открываем корень сайта и скачиваем интересующий access файл.

По времени в Метрике находим строчку с интересующим заходом и получаем IP перехода.

Только учтите, что даже зная IP и к какой подсети он принадлежит (например, Hetzner) сделать с этим вы все равно ничего не сможете. По айпи банить бесполезно, их может быть много, и они могут постоянно меняться.

Но вы можете забанить весь Hetzner, если захотите. Просто внесите все диапазоны Hetzner (81 диапазон IPV4 адресов) в блок в файле htaccess. На скриншоте стрелкой указан пример одного диапазона. У вас будет 81 такая строчка.

Как определить IP бота, если в Метрике нет никаких данных. Вариант через Cloudflare

Что такое Cloudflare, как его установить и прочие базовые вещи я рассказывать не буду. Информации предостаточно как в сети, так и на сайте antiddos24.ru (здесь в разделе Блог Cloudflare).

Сам по себе Cloudflare, сразу после подключения, никаких логов не пишет и ни от каких ботов не защищает. Чтобы Cloudflare начал записывать какие-то данные - нужно создать соответствующее правило в разделе Security-WAF.

Например, вот такое.

Код правила. Только вместо antiddos24.ru поставьте адрес своего сайта.

Теперь в отчет Cloudflare будут писаться все обращения к сайту, и вы сможете открыть интересующий заход в Метрике, посмотреть время и те параметры, которые известны, и потом в отчете Cloudflare увидеть все остальные, недостающие данные. Найдете по времени захода.

К примеру, вот так, как на скриншоте. Это не к примеру выше, а в общем для понимания алгоритма.

Мы видим и IP адрес перехода, и подсеть (в данном случае AS16276 OVH), и страну, и протокол (HTTP2, такой же как и у вас в браузере). А также параметры устройства. В данном случае поведенческий бот полностью эмулирует мобильный телефон с ОС Android 13. User Agent может быть любой, боты на каждый новый заход обычно подставляют случайный из заранее заданного списка.

Блокировка ботов из Германии в Cloudflare

Это может быть как AS16276 OVH, так и например AS24940 HETZNER-AS. Оба - крупнейшие хостинги. На которых размещаются как сайты, различные полезные и не очень SEO сервисы, а также арендуются блоки IP адресов для накрутки поведенческих ботов, как в примере выше.

Создается правило, назовем его Hostings. Добавляем AS сети, которые необходимо заблокировать. Действие, соответственно - Block. Но это может быть и любое другое действие, например Interactive Challenge (CAPTCHA).

Код правила блокировки хостингов.

Правило размещаем выше чем то, которое расписывалось ранее, и которое записывает визиты.