Оглавление:
Поведенческие боты и поведенческие факторы - бич современного Рунета. С тех пор, как Яндекс стал учитывать поведение пользователей на сайтах как один из основных признаков ранжирования в выдаче, создание искусственных ботных профилей (для манипулирования ее результатами), полностью имитирующих человека - стало неизбежным.
Поведенческий бот - это программа в браузере, действующая по заранее заданному алгоритму. Бот посещает сайты, производит (или не производит, а почти сразу уходит) на них заранее прописанные в своем алгоритме действия, имеет историю просмотров в браузере, в своем профиле, собираемом рекламными системами Яндекс и Гугл, а также список предпочтений и свой уникальный слепок - Fingerprint.
Фингерпринт (отпечаток браузера) - уникальный для каждого устройства набор конфигурации браузера, операционной системы, шрифтов, параметров экрана, программного и аппаратного обеспечения, позволяющий системам аналитики с почти 100% точностью отслеживать пользователей. Активно используется рекламными системами для определения предпочтений пользователей для того, чтобы показывать им рекламу на основе их предпочтений. Вы можете убедиться в том, что Гугл и Яндекс знают о вас слишком многое, просто зайдя в свой аккаунт. Там и пол, возраст, ваши интересы и прочая конфиденциальная информация.
Стоит вам где-то указать ваши реальные данные (например, в службе доставке еды, покупках в интернет-магазинах или маркетплейсах) - как ваш уникальный идентификатор перестает быть анонимным, и теперь полностью привязан к вашей реальной личности.
Поведенческие боты посещают сайты по спискам (которые формируются на основе выдачи поисковых систем по тем или иным поисковым запросам) именно для того, чтобы в базах данных того же Яндекса их профиль ничем не отличался от профиля реального человека. Для того, чтобы в дальнейшем использоваться для манипулирования результатами поисковой выдачи Яндекса.
Отличать поведенческого бота от человека Яндекс так и не научился (вернее, не хочет учиться, поисковую систему полностью устраивает рост трафика, рекламной выручки от того, что боты в том числе нажимают на сайтах на блоки рекламной системы Яндекса, РСЯ). Да и инвесторы довольны. Все показатели растут, курс акций постоянно обновляет максимумы. Ну а до потерянных рекламодателями денег в Яндекс Директ в обмен на пустые клики ботов никому нет дела. Принесут еще, куда он денутся. Комиссия за клик списывается в момент клика.
Именно поэтому на вашем сайте такое огромное количество прямых заходов. Не потому, что он такой популярный и люди на него ходят круглосуточно, на одни и те же страницы (как правило - на главную). Не стоит тешить себя иллюзиями.
Либо сразу, что записывается в Яндекс метрике как отказ. А потому, что поведенческому боту нужна только запись о посещении вашего сайта (и сотен других) в системах отслеживания Яндекса.
Именно после нагула профиля бот становится человеком с точки зрения Яндекса. И вот здесь наступает тот самый момент, когда владелец бота (ботофермы с тысячами, десятками тысяч подобных ботов) начинает зарабатывать деньги.
Он просто продает своих ботов тем владельцам сайтов, специалистам по поисковому продвижению (специалистам по SEO, в простонародье - сеошникам), которые хотят улучшить позиции продвигаемых сайтов в поисковых системах.
Заказав продвижение поведенческими ботами, владелец сайта получает "целевые" переходы на свой сайт с поисковых систем. Эти же боты, которые ухудшали вам поведенческие факторы, давая повышенный процент отказа, теперь заходят в Яндекс, вводят в строке запроса продвигаемую фразу, находят в выдаче Яндекса продвигаемый сайт, и переходят на него.
Здесь уже программа действует по другому алгоритму. Бот (человек с точки зрения Яндекса) переходит на сайт и совершает все те действия, которые совершает заинтересованный посетитель, заинтересованный покупатель. Листает страницы, перемещает мышку, переходит в корзину интернет-магазина, производит прочие человеко-реальные действия на сайте. И задерживается на нем столько, сколько в среднем задерживается реальный посетитель.
Также бот может предварительно заходить на другие сайты из поисковой выдачи, и тут-же их закрывать, возвращаясь обратно в выдачу. Всячески показывая Яндексу, что на этих сайтах интересующий его контент, интересующая его информация не найдена.
И с точки зрения поисковой системы - это реальный заинтересованный посетитель, который именно на этом сайте нашел именно то, что ему нужно. И чем больше таких заинтересованных посетителей - тем сильнее сигнал для поисковой системы - именно этот сайт по этому поисковому запросу нужно показывать выше в результатах поиска. Потому что именно на нем посетители находят интересующую их информацию по заданному ключевому слову.
Все, ну или почти все сайты, которые вы видите в ТОПах поисковых систем в коммерческих тематиках - используют накрутку поведенческими ботами. Да, SEO специалисты, маркетологи могут бить себя пяткой в грудь и говорить что они не такие. Но знайте - они врут. Ну или как минимум - не договаривают. Во многих коммерческих нишах только накруткой поведенческих факторов можно получать поисковый трафик из Яндекса.
И да, и нет.
Напрямую насылать ботов, увеличивающих процент отказов именно на вашем сайте - почти никто не будет. Это поведенческие боты делают и так, когда нагуливают свой профиль. Также, опосредованно, ваши поведенческие факторы портятся именно тогда, когда ваши конкуренты заказали себе накрутку. Боты зайдут и к вам, и сразу же закроют ваш сайт. Или уйдут с него через 15 секунд, чтобы Яндекс пометил себе, что ваш сайт не интересен посетителям.
Т.е. понижает ваш сайт в выдаче не конкретный конкурент, а все сообщество ваших конкурентов, которое использует поведенческих ботов для своего собственного продвижения.
Только они делают бизнес, а вы... и без денег, и без посетителей.
Для нагула поведенческих ботов нужно огромное (сотни, тысячи) количество свободных айпи адресов (прокси), которые можно взять в аренду у тех, кто предоставляет такой сервис. Это как специализированные хостинги, наподобие Biterika, так и мобильные операторы и интернет-провайдеры. Наиболее массовые из них - Rostelecom и Megafon. Но именно Ростелекомом и Мегафоном список не ограничивается. Также несомненным плюсом для владельцев ботоферм является то, что заблокировать провайдеров вы не сможете - потеряете и реальных посетителей. Подсетей, из которых приходят поведенческие боты - десятки, а то и сотни.
Насчет того, чтобы не отставать от коллектива - ну вы и сами поняли.
А поведенческих ботов - нужно заблокировать. При этом это нужно сделать аккуратно, так, чтобы не наблокировать реальных посетителей и хороших ботов (ботов поисковых систем).
Фильтровать поведенческих ботов можно с помощью сервиса Cloudflare. Создав свой собственный набор правил фильтрации. Для того, чтобы трафик вашего сайта снова стал чистым. Без огромного числа прямых заходов с отказами. А также без примеси ботов, которые переходят на сайт из поиска и сразу же с него уходят.
Самостоятельно решить эту задачу практически нереально. Как и все профессиональные секреты, о том, как это сделать - не пишут в интернетах. А те куцые наборы правил по фильтрации поведенческих ботов, что вы найдете по соответствующим поисковым запросам - эту задачу не решают. Это больше для блокировки парсеров и сканеров, снижения нагрузки на сайт, но никак не для поведенческих ботов. Нужно обращаться к специалистам.
Функцию фильтрации ботов Cloudflare может на себя взять российский антибот Killbot. Вот к нему у РКН точно претензий нет, сервера компании находятся в РФ. Принцип работы отличается от привычного, отслеживаются не знакомые всем при настройке Cloudflare параметры (входящие IP адреса, AS подсети ботов, User Agent и прочее), а уникальные для каждого набора браузеров слепки. По отличию оригинального браузера от модифицированного, тот или иной заход определяется либо как заход реального посетителя, либо как заход бота. Чтобы не повторяться - расписывал более подробно в статье Альтернатива Cloudflare в России.
Подпишитесь на Telegram канал для того, чтобы всегда быть в курсе последних новостей и обновленных настроек для защиты от ботов через Cloudflare, а также оперативно получать новые материалы, выходящие на antiddos24.ru
Всегда нужно иметь в виду, что те советы, которые вы прочли в статьях на сайте antiddos24.ru - это лишь часть настроек, которые я делаю при профессиональной экспертной настройке фильтрации поведенческих ботов. Все остальное - это непубличные профессиональные секреты. Любая информация, становящаяся общедоступной - достаточно быстро устаревает и перестает быть эффективной.
Если вы столкнулись с повышенной ботностью в Яндекс метрике, увеличением числа прямых заходов, увеличением количества отказов - вы всегда можете заказать у меня настройку Cloudflare или Killbot.