Трафік від ботів зростає: чи готовий твій сайт?

На кожну людину, яка відвідує твій сайт, припадає 3 боти.

Здивовані? Ми теж.

Але згідно з нашими внутрішніми даними, ми спостерігали в середньому 71.5% трафіку від ботів з січня 2025 року.

ШІ сканери від ChatGPT (9.16%), Claude (6.09%) та інших LLM постійно з’являються у наших даних щодо трафіку ботів, тоді як боти пошукових систем, як-от Googlebot, становлять лише 7.57% трафіку.

Ми не можемо їх усіх блокувати, оскільки більшість ботів необхідні. Наприклад, Googlebot допомагає твоєму сайту з’являтися у пошуку, а бот ChatGPT цитує твій бренд як джерело у відповідях.

Але якщо ти спостерігаєш стрибки в трафіку або спам у своїх контактних формах, саме тоді потрібно вжити заходів.

Як Сильно Зросла Активність Ботів?

Ось розбивка трафіку ботів, який ми спостерігаємо на вебсайтах наших клієнтів у мережі DreamHost:

Географічні візерунки, які ми спостерігали, теж дуже цікаві.

Ірландія лідирує за кількістю трафіку ботів з показником 40.70% відвідувань щодня, за нею йде Сінгапур з 13.04%. Така географічна концентрація не є випадковістю.

Ірландія є місцем розташування європейських штаб-квартир майже кожної великої американської технологічної компанії – Google, Apple, Microsoft, Amazon та Facebook – приваблених доступом до ЄС, низькими корпоративними податками та англомовними працівниками.

Тим часом, Сінгапур є хабом дата-центрів Азіатсько-Тихоокеанського регіону, де AWS, Microsoft Azure та Google Cloud мають великі об’єкти для обслуговування азійських ринків із нижчою затримкою. Коли штучний інтелект сканери та хмарні сервіси сканують вебсайти, вони часто працюють з серверних ферм, сконцентрованих у цих двох стратегічних локаціях.

Наші висновки цілком узгоджуються з Звітом про погані боти Imperva 2025, де 51% усього інтернет-трафіку тепер походить від автоматизованих джерел, з яких 37% класифіковані як шкідливі боти.

Виклик полягає в сірій зоні.

Деякі сканери для навчання ШІ (як-от GPTBot) збирають ваш контент для тренування мовних моделей, не забезпечуючи прямих переваг трафіку для вашого сайту.

Але чи є ці боти “хорошими” чи “поганими” залежить від того, як ти ставишся до того, що компанії ШІ використовують твій контент у комерційних цілях.

Хороші Боти проти Поганих Ботів: У чому Різниця

Не всякий автоматизований трафік заслуговує на блокування. Тобі потрібно знати, які боти допомагають твоєму бізнесу, а які шкодять, перш ніж вживати будь-яких заходів щодо управління ботами на твоєму сайті.

Корисні Боти, Які Покращують Твій Сайт

• Сканери пошукових систем: Наприклад, Googlebot та Bingbot індексують ваш контент для результатів пошуку.
• Боти соціальних медіа: Як FacebookExternalAgent, які генерують перегляд посилань, коли користувачі діляться вашим контентом.
• Служби моніторингу: Які перевіряють роботу та продуктивність вашого сайту.
• ШІ сканери пошукових систем: Як ChatGPT-User та Perplexity-User, які цитують ваш контент, відповідаючи на запитання користувачів.

Погані Боти, Що Виснажують Твої Ресурси

• Боти для копіювання контенту: Ці крадуть ваші статті, описи продуктів, та зображення.
• Боти спаму у формах: Вони заповнюють контактні форми непотрібними відправленнями.
• Боти для моніторингу цін: Від конкурентів, що стежать за вашими ціновими стратегіями.
• Боти для заблокування запасів: Ці додають продукти до кошиків без купівлі.
• Боти для викрадення облікових даних: Вони намагаються зламати користувацькі акаунти.

Приховані Витрати, Що Впливають На Твій Малий Бізнес-Сайт

Незалежно від типу бота, автоматичний трафік впливає на твій сайт у трьох критичних областях:

• Витрати на хостинг
• Ризики безпеки
• Точність даних

Кожне відвідування ботом споживає ресурси сервера так само, як і відвідування людиною, але без будь-якої можливості для конверсій, взаємодії або доходу.

1. Ваші Витрати На Інфраструктуру Постійно Зростають

Кожен запит бота використовує вашу пропускну здатність, обчислювальну потужність та сховище.

Якщо у тебе сайт з великою кількістю контенту або електронна торговельна платформа, ти швидко відчуєш це на своєму гаманці.

Проект Read the Docs зменшив трафік на 75% після блокування сканерів ШІ і зменшив обсяг передачі даних з 800 ГБ до 200 ГБ щоденно, економлячи $1,500 на місяць на витратах з пропускної здатності.

Якщо ти користуєшся тарифним планом shared hosting, ти не побачиш прямих витрат.

Надмірний трафік від ботів може спонукати твій хостинг обмежити продуктивність сайту. Більш агресивна діяльність ботів може змусити тебе перейти на VPS або виділене хостингове рішення раніше, ніж ти планував.

2. Проблеми з безпекою та спамом погіршуються

Шкідливі боти атакують твої форми зворотного зв’язку, сторінки входу та процеси оформлення покупок.

Вони шукають уразливі місця, намагаються здійснити атаки на заповнення облікових даних та також заповнюють форми непотрібними відправленнями. Оскільки більшість сайтів мають лише базову безпеку, вони стають привабливою мішенню.

Якщо у твоїх контактних формах або коментарях блогу з’являється спам, я б радив негайно встановити Askimet, щоб побачити, як зменшиться кількість спаму. Однак пам’ятай, що Askimet не блокує трафік від ботів.

Тобі потрібно самостійно вжити заходів, щоб блокувати ботів (детальніше про це нижче).

3. Твої дані аналітики стають забрудненими

Трафік від ботів збиває статистику вашого вебсайту.

Коли боти відвідують сторінки, вони не взаємодіють з контентом, створюючи штучно завищені показники трафіку без жодних показників конверсії.

Це забруднення робить майже неможливим вимірювання реальної поведінки користувачів, оптимізацію конверсійних воронок або прийняття маркетингових рішень на основі даних.

Навіть якщо Google Analytics дозволяє фільтрувати трафік для точнішого аналізу, важко відрізнити трафік ботів від звичайних відвідувачів.

Де Шукати Трафік Від Ботів На Твоєму Сайті

Наразі не існує безпомилкового способу виявити весь трафік ботів, оскільки сучасні боти практично нерозрізненні від людських відвідувачів.

Але є певні кроки, які ти можеш зробити, щоб почати моніторинг.

1. Почни З Панелі Керування DreamHost, Розділ Трафіку

Якщо ти хостиш з DreamHost, ти вже на крок попереду. Вкладка Traffic у твоїй панелі DreamHost дає тобі чітке уявлення про активність трафіку, включаючи поведінку ботів. Ти можеш спостерігати за сплесками, виявляти аномалії та відстежувати, скільки ботів може впливати на твій сайт, все це без необхідності використання інструментів третіх сторін.

Наша панель допомагає тобі:

• Відрізнити людський трафік від трафіку ботів одним поглядом
• Перегляд трафіку за IP, реферером або агентом користувача
• Виявляйте шаблони на ранній стадії, щоб швидко вжити заходів

Це особливо корисно для користувачів, які віддають перевагу вбудованим інструментам на відміну від складних панелей керування. Бонус – не потрібно жодних додаткових налаштувань!

2. Занурюйся в Google Analytics

Подивись на свою Google Analytics панель керування для цих показових ознак інтенсивної активності ботів:

• Різке збільшення трафіку з відповідним зростанням показника відмов
• Високі показники переглядів сторінок при нульовому часі на сторінці
• Незвичайні географічні моделі трафіку (раптовий трафік з країн, де ви не працюєте)
• Спам реферерів з незнайомих доменів

Перейди до Звітів → Техніка та використовуй фільтри технологій GA4, щоб звузити пошук до технологій користувача.

Тут ти можеш почати фільтрувати за браузерами та операційними системами, роздільними здатностями екрану, пристроями, версіями додатків тощо. Те, що ти шукаєш — це незвичні браузери, дивні операційні системи та незвичайні роздільні здатності екрану, наприклад:

• 1024 x 768
• 1366 x 768
• 1600 x 864
• 800 x 600
• 1600 x 1200
• 1024 x 667
• Не Вказано

Це виключить деяких реальних відвідувачів з твого відстеження, але ти також побачиш значно менше записів ботів у аналітичних даних.

Примітка: Розширені боти можуть використовувати звичайні роздільні здатності та останні версії пристроїв для маскування своєї діяльності. Їх надзвичайно важко фільтрувати для аналізу, доки ти не почнеш перевіряти відвідувачів, перш ніж вони зможуть переглядати твій вебсайт.

3. Перевір Свої Журнали Сервера

Якщо у тебе є доступ до панелі керування хостингом, переглянь журнали доступу сервера на предмет шаблонів, які вказують на автоматизований трафік:

• Швидкі запити з однієї IP-адреси.
• Запити на неіснуючі сторінки (часто боти, які шукають вразливості).
• Агенти користувачів, що ідентифікуються як відомі сканери (як хороші, так і погані).
• Запити без інформації про реферер.

Багато хостинг-провайдерів, включаючи DreamHost, пропонують інструменти аналізу журналів у своїх панелях керування. Шукайте незвичайні стрибки в пропускній здатності, які не відповідають маркетинговим кампаніям або оновленням контенту.

Як тільки у тебе буде список IP-адрес, які здаються повторними порушниками, ти можеш розпочати блокування IP-адрес або з твого веб-сервера, як NGINX або Apache, або з CDN.

4. Використовуй Засоби Моніторингу Від Сторонніх Розробників

Іноді ти можеш ідентифікувати лише певний обсяг трафіку. Тому існують безкоштовні інструменти від третіх сторін, такі як Cloudflare Analytics (якщо ти користуєшся їхніми послугами), які надають розбивку трафіку ботів.

Також є інші комплексні додатки, як:

• Wordfence: Для сайтів WordPress; виявляє спроби зловмисних ботів
• Sucuri: Надає послуги брандмауера вебсайтів із виявленням ботів
• MonsterInsights: Забезпечує покращену звітність Google Analytics з фільтрацією ботів

Керування та блокування шкідливих ботів без шкоди для хороших

Я рекомендую обережно блокувати трафік ботів, оскільки ти можеш випадково заблокувати і справжніх користувачів. Також потрібен збалансований підхід, який блокує шкідливий автоматизований трафік, залишаючи при цьому корисні сканери.

Ось як я б здійснив управління ботами, щоб випадково не заблокувати пошукові системи або законні сервіси.

Налаштуй Свій Файл robots.txt

Твій файл robots.txt служить як перший рубіж захисту від небажаних сканерів.

Створи або онови файл у кореневій директорії свого сайту зі спеціальними інструкціями для різних типів ботів:

# Блокування сканерів для тренування ШІ
User-agent: GPTBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: Google-Extended
Disallow: /

# Дозволити пошуковим системам
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

# Дозволити ботам ШІ, які цитують джерела
User-agent: ChatGPT-User
Allow: /

User-agent: PerplexityBot
Allow: /

Якщо у тебе немає прямого доступу до файлу robots.txt і ти використовуєш WordPress, ти можеш спробувати використати плагін WP Robots Txt, який дозволяє редагувати цей файл з твоєї панелі керування WordPress.

Май на увазі, що robots.txt працює на системі честі. Доброзичливі сканери дотримуються цих директив, але шкідливі боти часто ігнорують цей файл повністю.

Імплементуй Веб-Фаєрвол

Для більш агресивного захисту вебсайту, встанови Брандмауер веб-застосунків (WAF), який може блокувати ботів на рівні сервера.

Ти також маєш кілька додаткових опцій як власник малого бізнесу, що керує сайтами з низьким обсягом трафіку.

Безплатний план Cloudflare:

• Надає базові можливості боротьби з ботами
• Автоматично блокує очевидний шкідливий трафік
• Пропонує налаштування правил брандмауера для конкретних загроз

Wordfence (Користувачі WordPress):

• Містить функції виявлення та блокування ботів
• Оновлення інформації про загрози в реальному часі
• Налаштовуване обмеження частоти для запобігання запитам, що відбуваються дуже швидко

Обмеження Швидкості На Рівні Сервера

Багато провайдерів хостингу пропонують можливості обмеження частоти, які автоматично уповільнюють або блокують IP-адреси, які роблять занадто багато запитів у короткі проміжки часу. Ти можеш налаштувати ці обмежувачі частоти, щоб блокувати IP-адреси, які переглядають занадто багато сторінок за дуже короткий проміжок часу.

Наприклад, звичайній людині знадобиться кілька секунд, щоб оглянути сторінку перед тим, як клацати по різних посиланнях. Bot витратить на це мілісекунди.

Рішення Плагінів Для Сайтів WordPress

Якщо ти використовуєш WordPress, у тебе є додаткові можливості для керування ботами:

• Akismet: Автоматично фільтрує спам у коментарях та формах з точністю 99,99% за допомогою розширеного фільтрування ШІ. Незамінний для будь-якого сайту WordPress, що приймає матеріали від користувачів.
• WP Cerber Security: Забезпечує комплексний захист від ботів, включаючи обмеження спроб входу, блокування IP та розширені алгоритми виявлення ботів.
• All-In-One Security (AIOS): Пропонує функції брандмауера та можливості блокування ботів, які підходять для вебсайтів малого бізнесу.

Твій Повний Шлях Впровадження Захисту Від Ботів

Я розділив цей план реалізації так, щоб він вписувався у щільні графіки та допомагав тобі перейти від відсутності захисту до діючого захисту від ботів за короткий час.

20 Хвилин: Швидкі Перемоги

• Оновити файл robots.txt
• Увімкнути базові плагіни безпеки 
• Перевірити Google Analytics на патерни ботів

Почни з файлу robots.txt, адже це найлегший перший крок. Увійди в менеджер файлів свого вебсайту (або використовуй FTP) та створи або онови файл robots.txt у кореневому каталозі. Скопіюй конфігурацію robots.txt, згадану раніше в цій статті, та встав її.

Якщо ти користуєшся WordPress, встанови та активуй зараз плагін безпеки Wordfence. Безкоштовна версія включає базовий захист від ботів і почне блокувати явно шкідливий трафік негайно.

Відкрий Google Analytics, щоб перевірити джерела свого трафіку на наявність незвичайних шаблонів. Шукай країни, які ти не обслуговуєш, раптові стрибки трафіку або високі показники відмов з нульовою тривалістю сесії.

24 Години: Створіть Захист Пошарово

• Створи безкоштовний акаунт Cloudflare
• Налаштуй обмеження швидкості
• Додай CAPTCHA до форм
• Увімкни модерацію коментарів

Зареєструйся на безкоштовний акаунт Cloudflare та додай свій сайт. Cloudflare знаходиться між твоїм сайтом та відвідувачами, автоматично блокуючи очевидний трафік ботів, перш ніж він потрапить на твій сервер. Налаштування займає близько 30 хвилин і включає зміну налаштувань DNS, але Cloudflare проведе тебе через кожен крок.

Встановіть обмеження швидкості через ваш хост, щоб автоматично сповільнювати або блокувати IP-адреси, які роблять занадто багато запитів. Налаштуйте ліміти, які дозволяють нормальний перегляд (кілька секунд на сторінку), але зупиняють агресивні сканери (декілька сторінок за секунду).

Додай CAPTCHA до вразливих форм за допомогою плагіна reCAPTCHA для WordPress або Cloudflare Turnstile. Додай невидиму CAPTCHA до форм зворотнього зв’язку, розділів коментарів та сторінок реєстрації користувачів, щоб зупинити автоматизовані відправлення, не дратуючи справжніх користувачів.

Один Тиждень: Моніторинг Та Оптимізація

• Аналізувати журнали сервера
• Точне налаштування правил брандмауера
• Налаштувати сповіщення моніторингу 
• Блокувати проблемні діапазони IP

Аналізуй свої журнали доступу сервера, щоб визначити специфічні для твого сайту шаблони ботів. Шукай швидкі запити з однієї IP-адреси, запити до неіснуючих сторінок та підозрілі рядки агента користувача. Більшість панелей керування хостингом включають інструменти аналізу журналів, які спрощують це завдання.

Використовуй ці дані для створення користувацьких правил брандмауера у Cloudflare або твоєму плагіні безпеки. Наприклад, якщо ти помічаєш, що боти з певних країн постійно створюють проблеми, ти можеш заблокувати цілі географічні регіони. Або якщо певні агенти користувачів агресивно атакують твій сайт, заблокуй ці конкретні рядки.

Налаштуй сповіщення для моніторингу, щоб ти знав, коли стаються стрибки трафіку від ботів. Інструменти, як UptimeRobot або Pingdom, можуть попереджати тебе про незвичайні моделі трафіку, повільне завантаження або сплески навантаження на сервер, які можуть вказувати на атаку ботів.

Один Місяць: Просунутий Захист

• Здійснити поведінковий аналіз
• Впровадити обмеження частоти API
• Налаштувати кешування CDN
• Створити пастки для ботів

Додай інструменти аналізу поведінки, такі як DataDome або Imperva, які виявляють ботів, аналізуючи рухи миші, шаблони набору тексту та час взаємодії зі сторінкою. Вони виявляють складні ботів, які імітують людську поведінку.

Використовуй CDN для агресивного кешування статичних ресурсів. Таким чином, трафік від ботів потрапляє в кеш, а не на твій хост, зменшуючи навантаження від повторних запитів.

Одна з моїх улюблених технік — створення бот-пасток. Якщо ти помічаєш багато спаму у формах, додай додаткове приховане поле до форми. Оскільки боти аналізують HTML сторінки під час заповнення форм, вони побачать це приховане поле і додадуть до нього якісь дані. Ти можеш безпечно видаляти всі записи форм, які містять будь-який текст у прихованому полі, оскільки людський відвідувач його не побачить.

Майбутнє Управління Трафіком Ботів

Трафік від ботів не зникає. З 71.5% відвідувань нашої мережі, що надходять від автоматизованих джерел, роботи тепер переважають людей у співвідношенні 3 до 1 в інтернеті.

Але поки більшість власників вебсайтів ще розбираються, що відбувається, у тебе є все необхідне, щоб перетворити цей хаос ботів на користь свого бізнесу і навіть отримати вигоду від хороших ботів.

Тож йди вперед і починай впроваджувати системи управління ботами, поки твої конкуренти ще панікують через фальшивий трафік!