Трафик от ботов растёт: готов ли твой сайт?

На каждого человека, посещающего твой сайт, приходится 3 бота.

Удивлен? Мы тоже.

Но согласно нашим внутренним данным, с января 2025 года мы наблюдали в среднем 71.5% трафика от ботов.

ИИ-краулеры от ChatGPT (9.16%), Claude (6.09%) и других LLM регулярно появляются в наших данных о трафике ботов, в то время как поисковые боты, такие как Googlebot, составляют всего 7.57% трафика.

Мы не можем просто блокировать их всех, потому что большинство ботов необходимы. Например, Googlebot помогает вашему сайту появляться в поиске, а бот ChatGPT упоминает ваш бренд как источник в ответах.

Но если ты замечаешь скачки трафика или спам-записи в своих контактных формах, вот тогда тебе нужно предпринять действия.

Насколько Серьёзной Стала Проблема С Резким Увеличением Трафика Ботов?

Вот разбивка трафика ботов, которую мы видим на сайтах наших клиентов в сети DreamHost:

Географические узоры, которые мы наблюдали, тоже довольно интересны.

Ирландия лидирует по трафику ботов, составляя 40.70% ежедневных посещений, за ней следует Сингапур с 13.04%. Эта географическая концентрация не случайна.

Ирландия является местом расположения европейских штаб-квартир почти всех крупных американских технологических компаний – Google, Apple, Microsoft, Amazon и Facebook – привлекаемых доступом к ЕС, низкими корпоративными налогами и англоязычным персоналом.

Тем временем, Сингапур является центром данных Азиатско-Тихоокеанского региона, с такими крупными игроками, как AWS, Microsoft Azure и Google Cloud, которые управляют основными объектами здесь, чтобы обслуживать азиатские рынки с меньшей задержкой. Когда краулеры и облачные сервисы сканируют веб-сайты, они часто работают с серверных ферм, сосредоточенных в этих двух стратегических местах.

Наши выводы весьма согласуются с отчётом Imperva о вредоносных ботах 2025 года, где указано, что 51% всего интернет-трафика теперь приходится на автоматизированные источники, из которых 37% классифицируются как вредоносные боты.

Задача заключается в серой зоне.

Некоторые обучающие краулеры ИИ (например, GPTBot) собирают ваш контент для обучения языковых моделей, не принося прямой трафик обратно на ваш сайт.

Но являются ли эти боты «хорошими» или «плохими», зависит от того, как ты относишься к использованию твоего контента коммерческими компаниями ИИ.

Хорошие Боты Против Плохих Ботов: В Чем Различие

Не все автоматический трафик заслуживает блокировки. Тебе нужно знать, какие боты помогают твоему бизнесу, а какие вредят, прежде чем ты предпримешь какие-либо действия по управлению ботами на своем сайте.

Полезные Боты Для Твоего Сайта

• Поисковые краулеры: Например, Googlebot и Bingbot индексируют ваш контент для результатов поиска.
• Боты социальных медиа: Как FacebookExternalAgent, создающий предпросмотры ссылок, когда пользователи делятся вашим контентом.
• Сервисы мониторинга: Они проверяют время работы и производительность вашего сайта.
• Краулеры ИИ для поиска: Как ChatGPT-User и Perplexity-User, которые цитируют ваш контент при ответе на запросы пользователей.

Вредные боты, истощающие ваши ресурсы

• Скраперы контента: Они крадут ваши статьи, описания товаров и изображения.
• Боты спама форм: Они заполняют контактные формы бессмысленными заявками.
• Боты мониторинга цен: От конкурентов, отслеживающих ваши ценовые стратегии.
• Боты удержания инвентаря: Они добавляют товары в корзины, не совершая покупку.
• Боты подбора учетных данных: Они пытаются взломать учетные записи пользователей.

Скрытые Расходы, Влияющие На Твой Малый Бизнес-Сайт

Независимо от типа бота, автоматический трафик влияет на ваш сайт в трех ключевых областях:

• Расходы на хостинг
• Риски безопасности
• Точность данных

Каждый визит бота расходует ресурсы сервера так же, как и визит человека, но без каких-либо возможностей для конверсий, взаимодействия или получения дохода.

1. Твои Затраты На Инфраструктуру Продолжают Расти

Каждый запрос бота использует вашу пропускную способность, вычислительную мощность и хранилище.

Если у тебя сайт с большим количеством контента или торговая платформа, ты скорее всего быстро почувствуешь это на своем кошельке.

Проект Read the Docs сократил трафик на 75% после блокировки краулеров ИИ и сократил ежедневное потребление трафика с 800 ГБ до 200 ГБ, экономя $1,500 в месяц на затратах по пропускной способности.

Если ты используешь Shared Hosting, ты не увидишь прямых расходов.

Избыточный трафик ботов, однако, может заставить ваш хостинг ограничить производительность сайта. Более агрессивная активность ботов может побудить вас перейти на VPS или выделенный хостинг раньше, чем вы планировали.

2. Проблемы С Безопасностью И Спамом Усугубляются

Вредоносные боты атакуют твои контактные формы, страницы входа и процессы оформления заказов.

Они ищут уязвимости, пытаются провести атаки методом подбора учетных данных и также засоряют формы мусорными отправками. Поскольку большинство сайтов имеют только базовую безопасность, они становятся привлекательной целью.

Если в твоих контактных формах или комментариях блога есть спам, я бы предложил немедленно установить Askimet, чтобы уменьшить количество спам-записей. Однако помни, что Askimet не блокирует трафик от ботов.

Тебе нужно самостоятельно предпринять шаги для блокировки ботов (об этом подробнее ниже).

3. Твои данные аналитики становятся загрязнёнными

Трафик от ботов искажает аналитику вашего сайта.

Когда боты посещают страницы, они не взаимодействуют с контентом, создавая искусственно высокие показатели трафика без коэффициентов конверсии.

Это загрязнение делает практически невозможным измерение реального поведения пользователей, оптимизацию воронок конверсии или принятие маркетинговых решений на основе данных.

И даже если Google Analytics позволяет тебе фильтровать трафик для уточнения анализа, сложно отличить трафик от ботов от обычных посетителей.

Где Искать Трафик От Ботов На Твоем Сайте

В настоящее время не существует надёжного способа обнаружения всего трафика от ботов, поскольку современные боты практически неотличимы от реальных посетителей.

Но есть определенные шаги, которые ты можешь предпринять для начала мониторинга.

1. Начни с панели управления DreamHost и раздела трафика

Если ты хостингуешься у DreamHost, ты уже на шаг впереди. Вкладка «Трафик» в твоей панели управления DreamHost предоставляет тебе чёткое представление о деятельности трафика, включая поведение ботов. Ты можешь наблюдать за всплесками, обнаруживать аномалии и отслеживать, сколько ботов может влиять на твой сайт, всё это без необходимости использования сторонних инструментов.

Наша панель помогает тебе:

• Различай трафик от людей и ботов с первого взгляда
• Просматривай трафик по IP, источнику перехода или пользовательскому агенту
• Выявляй закономерности раньше, чтобы быстро предпринять действия

Это особенно полезно для пользователей, которые предпочитают встроенные инструменты сложным панелям управления. Бонус – дополнительная настройка не требуется!

2. Погрузись В Google Analytics

Посмотри на свою Google Analytics панель управления для этих явных признаков интенсивной активности ботов:

• Всплески трафика с соответствующим увеличением показателя отказов
• Высокие показатели просмотров страниц при нулевом времени на сайте
• Необычные географические паттерны трафика (внезапный трафик из стран, где ты не работаешь)
• Спам рефереров с незнакомых доменов

Перейди в раздел Отчёты → Технологии и используй фильтрацию по технологиям в GA4 для уточнения технологий пользователей.

Здесь ты можешь начать фильтровать по браузерам и операционным системам, разрешениям экрана, устройствам, версиям приложений и т.д. Ищи необычные браузеры, странные операционные системы и необычные разрешения экрана, например:

• 1024 x 768
• 1366 x 768
• 1600 x 864
• 800 x 600
• 1600 x 1200
• 1024 x 667
• Не указано

Это исключит некоторых реальных посетителей из твоего отслеживания, но ты также увидишь гораздо меньше записей ботов в данных аналитики.

Примечание: Продвинутые боты могут использовать обычные разрешения и последние версии устройств для маскировки своей активности. Их чрезвычайно трудно отфильтровать для анализа, если только вы не начнете проверять посетителей до того, как они смогут просмотреть ваш сайт.

3. Проверь Журналы Сервера

Если у тебя есть доступ к панели управления хостингом, посмотри в журналы доступа к серверу на предмет паттернов, указывающих на автоматизированный трафик:

• Быстрые запросы с одного IP-адреса.
• Запросы на несуществующие страницы (часто боты, ищущие уязвимости).
• Агенты пользователя, идентифицирующие себя как известные краулеры (как хорошие, так и плохие).
• Запросы без информации о реферере.

Многие провайдеры хостинга, включая DreamHost, предлагают инструменты анализа журналов в своих панелях управления. Обрати внимание на необычные скачки использования пропускной способности, которые не соответствуют маркетинговым кампаниям или обновлениям контента.

Как только у тебя появится список IP-адресов, которые кажутся повторяющимися нарушителями, ты можешь начать блокировать эти IP-адреса либо с твоего веб-сервера, например, NGINX или Apache, либо с CDN.

4. Использовать Инструменты Мониторинга Сторонних Разработчиков

Иногда можно идентифицировать только определённый объём трафика. Поэтому существуют бесплатные сторонние инструменты, такие как Cloudflare Analytics (если вы используете их услуги), которые предоставляют разбивку трафика ботов.

Также есть другие комплексные приложения, такие как:

• Wordfence: Для сайтов WordPress; определяет попытки взлома вредоносными ботами
• Sucuri: Предлагает услуги веб-файрвола с обнаружением ботов
• MonsterInsights: Обеспечивает улучшенную отчетность Google Analytics с фильтрацией ботов

Управление и блокировка вредоносных Bot без вреда для полезных

Я рекомендую быть осторожным с блокировкой трафика ботов, потому что ты можешь случайно заблокировать и настоящих пользователей. Тебе также нужен сбалансированный подход, который блокирует вредоносный автоматический трафик, одновременно сохраняя полезных краулеров.

Вот как я бы реализовал управление ботами, чтобы случайно не заблокировать поисковые системы или законные сервисы.

Настрой свой файл robots.txt

Твой robots.txt файл служит первой линией защиты от нежелательных краулеров.

Создай или обнови файл в корневом каталоге своего сайта с конкретными инструкциями для разных типов ботов:

# Блокировать обучающие crawlers ИИ
User-agent: GPTBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: Google-Extended
Disallow: /

# Разрешить поисковым системам
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

# Разрешить поисковым ботам ИИ, которые указывают источники
User-agent: ChatGPT-User
Allow: /

User-agent: PerplexityBot
Allow: /

Если у тебя нет прямого доступа к файлу robots.txt и ты используешь WordPress, можешь попробовать использовать плагин WP Robots Txt, который позволяет редактировать файл прямо с панели управления WordPress.

Имей в виду, что файл robots.txt работает на системе доверия. Послушные краулеры уважают эти директивы, но злонамеренные боты часто полностью игнорируют файл.

Установка Брандмауэра Для Сайта

Для более агрессивной безопасности сайта, реализуй брандмауэр веб-приложений (WAF), который может блокировать ботов на уровне сервера.

Ты также имеешь несколько дополнительных возможностей как владелец малого бизнеса, управляющий сайтами с небольшим объемом посещений.

Бесплатный План Cloudflare:

• Обеспечивает базовые возможности борьбы с ботами
• Автоматически блокирует очевидный вредоносный трафик
• Предлагает настраиваемые правила брандмауэра для конкретных угроз

Wordfence (Пользователи WordPress):

• Включает функции обнаружения и блокировки ботов
• Обновления разведданных о угрозах в реальном времени
• Настройка ограничения частоты запросов для предотвращения быстрых запросов

Ограничение Скорости На Уровне Сервера

Многие провайдеры хостинга предлагают функции ограничения скорости, которые автоматически замедляют или блокируют IP-адреса, отправляющие слишком много запросов за короткие промежутки времени. Ты можешь настроить эти ограничители скорости, чтобы блокировать IP-адреса, просматривающие слишком много страниц за очень короткий промежуток времени.

Например, обычному человеку потребуется несколько секунд, чтобы оглядеться на странице, прежде чем кликать по разным ссылкам. Бот сделает то же самое за миллисекунды.

Решения с плагинами для сайтов WordPress

Если ты используешь WordPress, у тебя есть дополнительные опции для управления ботами:

• Akismet: Автоматически фильтрует спам в комментариях и формах с точностью 99.99% с помощью продвинутой фильтрации на основе ИИ. Незаменим для любого сайта на WordPress, принимающего пользовательские отправки.
• WP Cerber Security: Обеспечивает комплексную защиту от ботов, включая ограничение попыток входа, блокировку IP и продвинутые алгоритмы обнаружения ботов.
• All-In-One Security (AIOS): Предлагает функции файервола и возможности блокировки ботов, подходящие для сайтов малого бизнеса.

Твой Полный Путь Реализации Защиты От Ботов

Я разделил этот план внедрения так, чтобы он соответствовал плотным графикам и помог тебе перейти от отсутствия защиты к работающей защите от ботов в короткие сроки.

20 Минут: Быстрые Победы

• Обнови файл robots.txt
• Включи базовые плагины безопасности
• Проверь Google Analytics на наличие шаблонов ботов

Начни с файла robots.txt, потому что это самый простой первый шаг. Войди в файловый менеджер своего сайта (или используй FTP) и создай или обнови файл robots.txt в корневом каталоге. Скопируй конфигурацию файла robots.txt, упомянутую ранее в этой статье, и вставь её.

Если ты используешь WordPress, установи и активируй плагин безопасности Wordfence прямо сейчас. Бесплатная версия включает базовую защиту от ботов и начнёт блокировать очевидный вредоносный трафик немедленно.

Открой Google Analytics, чтобы проверить источники твоего трафика на предмет необычных паттернов. Ищи страны, которые ты не обслуживаешь, внезапные скачки трафика или высокие показатели отказов при нулевой продолжительности сессий.

24 Часа: Наложите Слои Защиты

• Зарегистрируй бесплатный аккаунт Cloudflare
• Настрой ограничение частоты запросов
• Добавь CAPTCHA в формы
• Включи модерацию комментариев

Зарегистрируйся на бесплатный аккаунт Cloudflare и добавь свой сайт. Cloudflare располагается между твоим сайтом и посетителями, автоматически блокируя очевидный трафик от ботов, прежде чем он достигнет твоего сервера. Настройка займет около 30 минут и включает изменение настроек DNS, но Cloudflare проведет тебя через каждый шаг.

Установи ограничение скорости через свой хостинг, чтобы автоматически замедлять или блокировать IP-адреса, совершающие слишком много запросов. Настрой ограничения, которые позволят обычный просмотр (несколько секунд на страницу), но остановят агрессивных краулеров (несколько страниц в секунду).

Добавь CAPTCHA на уязвимые формы, используя плагин reCAPTCHA для WordPress или Cloudflare Turnstile. Добавь невидимую CAPTCHA к формам обратной связи, разделам комментариев и страницам регистрации пользователей, чтобы остановить автоматические отправки без раздражения настоящих пользователей.

Одна Неделя: Мониторинг И Оптимизация

• Анализировать журналы сервера
• Настроить правила брандмауэра
• Установить оповещения мониторинга 
• Блокировать проблемные диапазоны IP

Анализируй журналы доступа к серверу, чтобы выявить узоры ботов, специфичные для твоего сайта. Ищи быстрые запросы с одного IP-адреса, запросы на несуществующие страницы и подозрительные строки агентов пользователя. Большинство панелей управления хостингом включают инструменты анализа журналов, которые облегчают эту задачу.

Используй эту информацию для создания настраиваемых правил фаервола в Cloudflare или твоем плагине безопасности. Например, если ты замечаешь, что боты из определенных стран постоянно создают проблемы, ты можешь заблокировать целые географические регионы. Или если определенные пользовательские агенты продолжают агрессивно атаковать твой сайт, заблокируй эти конкретные строки.

Настрой уведомления мониторинга, чтобы знать, когда происходит резкий рост трафика ботов. Инструменты вроде UptimeRobot или Pingdom могут оповещать тебя о необычных паттернах трафика, медленных временах загрузки или всплесках ресурсов сервера, которые могут указывать на атаку ботов.

Один Месяц: Продвинутая Защита

• Реализовать анализ поведения
• Внедрить ограничение скорости API
• Настроить кэширование CDN
• Создать ловушки для ботов

Добавь инструменты поведенческого анализа, такие как DataDome или Imperva, которые обнаруживают ботов, анализируя движения мыши, шаблоны набора текста и время взаимодействия со страницей. Они ловят сложных ботов, имитирующих человеческое поведение.

Используй CDN для агрессивного кэширования статических ресурсов. Таким образом, трафик от ботов будет обращаться к кэшу, а не к твоему хосту, что снизит нагрузку от повторяющихся запросов.

Одна из моих любимых техник — создание бот-ловушек. Если ты видишь много Spam в формах, добавь в форму дополнительное скрытое поле. Поскольку боты анализируют HTML страницы при заполнении форм, они увидят это скрытое поле и добавят в него данные. Ты можешь безопасно удалять все записи формы, в которых есть текст в скрытом поле, потому что человек его не видит.

Будущее Управления Трафиком Ботов

Трафик от ботов не уменьшается. С 71.5% посещений в нашу сеть, исходящих от автоматизированных источников, роботы теперь превосходят людей в интернете в соотношении 3 к 1.

Но в то время как большинство владельцев сайтов еще пытаются понять, что происходит, у тебя уже есть все необходимое, чтобы приспособить этот хаос с ботами для своего бизнеса и даже извлечь выгоду из хороших ботов.

Итак, начинай внедрять системы управления ботами, пока твои конкуренты все еще паникуют из-за поддельного трафика!