Оглавление:
При анализе практически любого сайта на наличие поведенческих ботов замечаю в Яндекс метрике переходы с IP-сети Net By Net Holding LLC (Нэт Бай Нэт Холдинг). Что это за провайдер такой - netbynet holding llc, что с него идет столько ботов. Как и все программы для накрутки поведенческих факторов, при нагуле профиля боты Net By Net Holding LLC (NETBYNET, бренд Wifire) дают или переходы с отказом (общее время на сайте 0:00), или проводят на сайте стандартные 15 секунд, чтобы переход не считался отказом.
Подобные переходы поведенческих ботов (Biterika, OJSC MegaFon, OJSC Rostelecom) необходимо блокировать, иначе позиции сайта в выдаче Яндекса очень быстро просядут.
Защищать сайт от ботов нужно комплексно. Это не только Net By Net Holding LLC, но и переходы с сайтов (якобы с сайтов, на самом деле это переходы ботов с подменой реферера), и любые другие поведенческие боты, сканирующие боты, парсеры контента, и так далее.
Изначально компания была сообществом мелких независимых провайдеров домашнего интернета (под брендом NetByNet), однако в 2006 году пришли инвесторы, скупили наиболее крупных из партнеров, и создали ООО "Нэт Бай Нэт Холдинг". Это было в 2006 году и обошлось инвесторам в 10 миллионов долларов.
Компания начала активно расширяться, поглощая всё подряд, любых более-менее заметных провайдеров услуг широкополосного доступа в сеть интернет в Москве, Подмосковье, в других регионах РФ. Вот что по данному поводу указано в Википедии.
Укрупнение пошло на пользу, Net By Net Holding занял значительную долю рынка интернет услуг. Настолько серьезную, что в 2011 году NetByNet был приобретен Мегафоном, уже за 270 млн. долларов. Что позволило Мегафону стать не только провайдером мобильной связи, но и широкополосного интернета и цифрового телевидения, с присутствием в ряде регионов Российской Федерации, более чем в 100 населенных пунктах.
В 2022 году ООО "Нэт Бай Нэт Холдинг" (ОГРН 1067746398411, ИНН 7723565630) реорганизовано в форме присоединения к ПАО "МегаФон" (ОГРН 1027809169585, ИНН 7812014560, адрес: 127006, г. Москва, Оружейный пер., д.41).
Вот как раз блокировать ботов Мегафон нельзя. Потому что одни и те же айпи адреса используются не только поведенческими ботами, но и реальными посетителями. А значит, если вы заблокируете сеть AS12714 PJSC MegaFon, часть пользователей Мегафон просто не сможет попасть к вам на сайт.
Также отпадает вариант с блокировкой PJSC MegaFon через htaccess. Это не очень гибкий инструмент, и в большинстве случаев доступна только одна опция - блокировка. А нам важно чтобы реальные посетители не пострадали.
Поэтому нужно создать правило в Cloudflare, и не блокировать такие переходы, а ставить на проверку (Managed Challenge или Interactive Challenge) самые подозрительные из них. Блокировать нужно только в том случае, если вы убедились в том, что именно по этому алгоритму к вам приходят только поведенческие боты, и блокировка не скажется на реальных посетителях.
Например, если все переходы с отказами из Net By Net Holding LLC - это прямые заходы на определенную страницу (это можно увидеть при анализе Яндекс метрики), то вы можете создать вот такое правило в Cloudflare.
Это же правило кодом.
Чтобы скопировать код в буфер обмена, нажмите на квадратики справа вверху в блоке кода.
|
1 |
(http.referer eq "" and ip.geoip.asnum in {12714} and http.request.uri.path eq "/shop/tovar123") |
Естественно, это только пример, да и создавать одно правило для фильтрации чего-то определенного - это слишком расточительно. В Cloudflare FREE всего 5 доступных ячеек под правила. Поэтому нужно комбинировать с другими правилами.
AS12714 PJSC MegaFon (AS12714 MEGAFON-AS Moscow, Russia) - это одна из множества сетей Мегафон. Существуют и другие:
Решение о фильтрации той или иной сети Мегафон нужно принимать после анализа трафика сайта.
Либо самостоятельного, либо вы можете воспользоваться услугами профессионалов.
Функцию фильтрации ботов Cloudflare может на себя взять российский антибот Killbot. Вот к нему у РКН точно претензий нет, сервера компании находятся в РФ. Принцип работы отличается от привычного, отслеживаются не знакомые всем при настройке Cloudflare параметры (входящие IP адреса, AS подсети ботов, User Agent и прочее), а уникальные для каждого набора браузеров слепки. По отличию оригинального браузера от модифицированного, тот или иной заход определяется либо как заход реального посетителя, либо как заход бота. Чтобы не повторяться - расписывал более подробно в статье Альтернатива Cloudflare в России.
Подпишитесь на Telegram канал для того, чтобы всегда быть в курсе последних новостей и обновленных настроек для защиты от ботов через Cloudflare, а также оперативно получать новые материалы, выходящие на antiddos24.ru
Всегда нужно иметь в виду, что те советы, которые вы прочли в статьях на сайте antiddos24.ru - это лишь часть настроек, которые я делаю при профессиональной экспертной настройке фильтрации поведенческих ботов. Все остальное - это непубличные профессиональные секреты. Любая информация, становящаяся общедоступной - достаточно быстро устаревает и перестает быть эффективной.
Если вы столкнулись с повышенной ботностью в Яндекс метрике, увеличением числа прямых заходов, увеличением количества отказов - вы всегда можете заказать у меня настройку Cloudflare или Killbot.