Оглавление:
Резко возрос трафик ipv6, в метрике переходы с IPv4 address block not managed by the RIPE NCC.
Однажды, 8 февраля, счетчик посещаемости сайта показал 80 000 посетителей, в интернет-магазине строительной тематики. Все бы ничего, наверное можно было бы радоваться такому интересу потенциальных покупателей. Но есть нюанс: средняя посещаемость до этого дня - не превышала 1000 посетителей в сутки.
Кроме неприятных сюрпризов с повышенной нагрузкой на хостинг, такой всплеск переходов IPv4 address block not managed by the RIPE NCC не дал больше ничего. Боты не покупают товары в интернет-магазинах, к сожалению.
Владелец сайта обратился за помощью по фильтрации поведенческих ботов.
С подобной ситуацией я уже сталкивался на днях, в другом проекте, где посещаемость с 5000 посетителей в сутки, подскочила до 250 000 в сутки.
Но и это еще не предел. Вот вам пример с 500 000 посетителями в день. На графике также видно, что некоторое время сервер чувствовал себя не очень хорошо.
Это новая ботоферма на IP адресах IPv6, на полную мощность проводящая нагул поведенческих факторов на диапазоне около 250 000 уникальных профилей ботов.
Переходы осуществляются с нескольких ASN:
Ферма ботов - гипер активная, ее деятельность можно приравнять к мини ДДОС-атаке. Не каждый сайт способен выдержать такое количество одномоментных подключений.
На графике из Яндекс метрики видно, что сайт некоторое время был недоступен, хостинг не выдерживал нагрузку. В вебмастере появились сообщения: страницы сайта в среднем слишком долго отвечают роботу, проверьте ответ сервера и при необходимости обратитесь к хостинг-провайдеру. Слишком высокая нагрузка на сайт.
Было принято оперативное решение о подключении Cloudflare и фильтрации поведенческого трафика. Сразу с началом работ количество непонятных соединений пошло на спад, спам IPv4 address block not managed by the RIPE NCC прекратился.
Также, при исследовании метрики была обнаружена ботоферма OJSC Rostelecom Macroregional Branch South. Это так называемые краснодарские боты, Rostelecom Krasnodar.
Краснодарские боты, как правило, настроены на переход на одну и ту же страницу, прямые переходы с малым временем просмотра, мобильные устройства Android, всего визитов: 1. Каждый уникальный поведенческий бот приходит один раз. В среднем в сутки с одного айпи адреса приходит около 50-100 уникальных профилей ботов. Общее количество "посетителей" из Краснодара постепенно растет, и может достигать тысяч в день.
В итоге прямые переходы на сайт - 80% дневных посещений, а поисковый трафик - меньше 20%. А должно быть ровно наоборот.
Спам боты OJSC Rostelecom Macroregional Branch South также были забанены.
Поведенческие боты Biterika Group LLC, Biterika Grupp OOO (Битерика Групп) - это уже классика жанра при борьбе с поведенческими ботами. Битерика - это облачный провайдер хостинга для накрутки профилей ботов, проводит крайне агрессивный парсинг сайтов, боты Битерика присутствуют практически на всех проектах, где я занимаюсь настройкой Cloudflare против поведенческих ботов. Также именно поведенческие боты Битерика Групп занимаются спамом в формы обратной связи, внося в них внешне неотличимые от реальных, рандомные данные случайных людей.
Боты Битерика AS 35048 без сожаления уходят в блокировку, живых посетителей там нет.
Только профессионалы знают, что делать с остатками поведенческих ботов, которые отображаются в счетчике Яндекс метрики, но через Cloudflare они не проходили. Даже несмотря на то, что в настройках счетчика установлены все необходимые опции (например, принимать данные только с указанных адресов).
После основной настройки проводится ряд работ на самом сайте и на хостинге, что позволяет закрыть оставшиеся лазейки, и окончательно привести график метрики к своему естественному, первоначальному состоянию.
После проведения оставшихся работ, трафик сайта полностью очистился от непрошенных ботов.
Как видите, в масштабе в сравнении с атакой поведенческих ботов IPv4 address block not managed by the RIPE NCC - это тонкая линия где-то в самом низу графика.
Подпишитесь на Telegram канал для того, чтобы всегда быть в курсе последних новостей и обновленных настроек для защиты от ботов через Cloudflare, а также оперативно получать новые материалы, выходящие на antiddos24.ru
Всегда нужно иметь в виду, что те советы, которые вы прочли в статьях на сайте antiddos24.ru - это лишь часть настроек, которые я делаю при профессиональной экспертной настройке фильтрации поведенческих ботов. Все остальное - это непубличные профессиональные секреты. Любая информация, становящаяся общедоступной - достаточно быстро устаревает и перестает быть эффективной.
Если вы столкнулись с повышенной ботностью в Яндекс метрике, увеличением числа прямых заходов, увеличением количества отказов - вы всегда можете заказать у меня настройку Cloudflare или Killbot.