Botverkeer Neemt Toe: Is Je Website Voorbereid?

Voor elke mens die je website bezoekt, zijn er 3 bots.

Verbaasd? Wij ook.

Maar volgens onze interne gegevens zagen we sinds januari 2025 een gemiddelde van 71,5% botverkeer.

AI-webcrawlers van ChatGPT (9.16%), Claude (6.09%) en andere LLM’s verschijnen regelmatig in onze botverkeersgegevens, terwijl zoekmachinebots zoals Googlebot slechts 7.57% van het verkeer vertegenwoordigen.

We kunnen ze niet allemaal blokkeren omdat de meeste bots noodzakelijk zijn. Bijvoorbeeld, Googlebot helpt je site te verschijnen in zoekresultaten, of ChatGPT bot noemt je merk als bron in reacties.

Maar als je verkeerspieken of spam-invoeren in je contactformulieren ziet, dan is het tijd om actie te ondernemen.

Hoe Erg Is De Toename Van Botverkeer Geworden?

Hier is een uiteenzetting van het botverkeer dat we zien op de websites van onze klanten in het DreamHost-netwerk:

De geografische patronen die we waargenomen hebben, zijn ook best interessant.

Ierland leidt het botverkeer met 40,70% van de dagelijkse bezoeken, gevolgd door Singapore met 13,04%. Deze geografische concentratie is geen toeval.

Ierland huisvest de Europese hoofdkantoren van bijna elk groot Amerikaans technologiebedrijf – Google, Apple, Microsoft, Amazon en Facebook – aangetrokken door toegang tot de EU, lage vennootschapsbelastingen en een Engelssprekend personeelsbestand.

Ondertussen is Singapore het knooppunt voor datacenters in Azië-Pacific, met belangrijke faciliteiten van AWS, Microsoft Azure en Google Cloud om de Aziatische markten te bedienen met lagere latentie. Wanneer AI crawlers en cloudservices websites scannen, opereren ze vaak vanuit serverfarms die geconcentreerd zijn in deze twee strategische locaties.

Onze bevindingen zijn heel coherent met Imperva’s Bad Bot Report 2025, waar 51% van al het internetverkeer nu afkomstig is van geautomatiseerde bronnen, waarvan 37% geclassificeerd als kwaadaardige bots.

De uitdaging ligt in het grijze gebied.

Sommige AI-trainingscrawlers (zoals GPTBot) verzamelen je inhoud om taalmodellen te trainen zonder directe verkeersvoordelen terug te geven aan je site.

Maar of deze “goede” of “slechte” bots vertegenwoordigen hangt af van hoe je denkt over AI-bedrijven die jouw inhoud gebruiken voor commerciële doeleinden.

Goede Bots vs. Slechte Bots: Wat Is Het Verschil

Niet al het geautomatiseerde verkeer verdient een blokkade. Je moet weten welke bots jouw bedrijf helpen en welke schade aanrichten voordat je actie onderneemt om bots op je website te beheren.

Goede Bots Die Je Site Ten Goede Komen

• Zoekmachine Webcrawlers: Bijvoorbeeld, Googlebot en Bingbot indexeren je inhoud voor zoekresultaten.
• Sociale Media Bots: Zoals FacebookExternalAgent genereren linkvoorbeelden wanneer gebruikers je inhoud delen.
• Monitoringdiensten: Deze controleren de uptime en prestaties van je site.
• AI Zoek Webcrawlers: Zoals ChatGPT-User en Perplexity-User die je inhoud citeren bij het beantwoorden van gebruikersvragen.

Slechte Bots Die Je Bronnen Uitputten

• Inhoudsschrapers: Deze stelen je artikelen, productbeschrijvingen, en afbeeldingen.
• Formulier spam bots: Ze overspoelen contactformulieren met ongewenste inzendingen.
• Prijsmonitoring bots: Van concurrenten die je prijsstrategieën volgen.
• Voorraad hamsterende bots: Deze voegen producten toe aan winkelwagentjes zonder te kopen.
• Credential stuffing bots: Ze proberen in te breken in gebruikersaccounts.

De Verborgen Kosten Die Je Kleine Bedrijfssite Raken

Ongeacht het type bot, heeft geautomatiseerd verkeer invloed op je website op drie cruciale gebieden:

• Hostingkosten
• Beveiligingsrisico’s
• Data-accuraatheid

Elk botbezoek verbruikt serverbronnen, net als een menselijke bezoeker, maar zonder enige mogelijkheid voor conversies, betrokkenheid of inkomsten.

1. Je Infrastructuurkosten Blijven Stijgen

Elke bot-aanvraag gebruikt je bandbreedte, verwerkingskracht en opslag.

Als je een site met veel inhoud of een e-commerceplatform hebt, zie je waarschijnlijk snel dat dit je portemonnee raakt.

Het Read the Docs-project verminderde het verkeer met 75% na het blokkeren van AI-crawlers en ging van het dagelijks verstrekken van 800GB naar 200GB, waardoor maandelijks $1,500 aan bandbreedtekosten werd bespaard.

Als je een shared hosting plan hebt, zie je geen directe kosten.

Overmatig botverkeer kan echter ervoor zorgen dat je host de prestaties van de site gaat beperken. Aggressievere botactiviteit kan je eerder dan gepland naar een VPS of dedicated hostingoplossingen duwen.

2. Beveiliging en Spam Problemen Verslechteren

Kwaadaardige bots richten zich op je contactformulieren, inlogpagina’s en afrekenprocessen.

Ze zoeken naar kwetsbaarheden, proberen credential stuffing-aanvallen uit en overspoelen formulieren ook met ongewenste inzendingen. Aangezien de meeste websites slechts basisbeveiliging hebben, worden ze een aantrekkelijk doelwit.

Als je contactformulieren of blogreacties Spam bevatten, zou ik je direct aanraden om Askimet te installeren om te zien of de hoeveelheid Spam afneemt. Onthoud echter dat Askimet geen botverkeer blokkeert.

Je moet zelf stappen ondernemen om bots te blokkeren (meer hierover zo dadelijk).

3. Je Analysegegevens Raken Verontreinigd

Botverkeer verstoort je websiteanalyse.

Wanneer bots pagina’s bezoeken, gaan ze niet om met inhoud, wat zorgt voor kunstmatig hoge verkeersaantallen met nul conversieratio’s.

Deze vervuiling maakt het bijna onmogelijk voor je om echt gebruikersgedrag te meten, conversietrechters te optimaliseren, of datagedreven marketingbeslissingen te maken.

En zelfs als Google Analytics je toestaat het verkeer te filteren om de analyse te verfijnen, is het moeilijk om botverkeer te onderscheiden van reguliere menselijke bezoekers.

Waar Je Botverkeer Op Je Site Kunt Vinden

Er is momenteel geen waterdichte manier om al het botverkeer te vinden, aangezien geavanceerde bots vrijwel niet te onderscheiden zijn van menselijke bezoekers.

Maar er zijn bepaalde stappen die je kunt nemen om te beginnen met monitoren.

1. Begin Met Het Verkeersdashboard Van DreamHost Panel

Als je bij DreamHost host, ben je al een stap voor. Het Tabblad Verkeer in je DreamHost panel geeft je een duidelijk beeld van de verkeersactiviteit, inclusief het gedrag van bots. Je kunt pieken monitoren, afwijkingen detecteren en bijhouden hoeveel bots mogelijk invloed hebben op je site, allemaal zonder dat je een extern hulpmiddel nodig hebt.

Ons panel helpt je:

• Maak onderscheid tussen menselijk verkeer en botverkeer in één oogopslag
• Bekijk verkeer per IP, verwijzer of gebruikersagent
• Herken patronen vroeg zodat je snel actie kunt ondernemen

Dit is vooral handig voor gebruikers die ingebouwde tools verkiezen boven gecompliceerde dashboards. Bonus – Er is geen extra configuratie nodig!

2. Dieper Duiken Met Google Analytics

Kijk op je Google Analytics dashboard voor deze duidelijke tekenen van intensieve botactiviteit:

• Verkeerspieken met overeenkomstige toename van het bouncepercentage
• Hoge paginaweergaven met nul tijd op de pagina
• Ongebruikelijke geografische verkeerspatronen (plotseling verkeer uit landen waar je niet actief bent)
• Referrer spam van onbekende domeinen

Ga naar Rapporten → Tech en gebruik de technologiefiltering van GA4 om te focussen op gebruikerstechnologie.

Hier kun je beginnen met filteren op browser en besturingssysteem, schermresoluties, apparaat, app-versies, enz. Waar je naar op zoek bent, zijn ongebruikelijke browsers, vreemde besturingssystemen en ongebruikelijke schermresoluties zoals:

• 1024 x 768
• 1366 x 768
• 1600 x 864
• 800 x 600
• 1600 x 1200
• 1024 x 667
• Niet gespecificeerd

Dit zal sommige echte bezoekers uit je tracking verwijderen, maar je zult ook veel minder botvermeldingen in de analysedata zien.

Let op: Geavanceerde bots kunnen normale resoluties en de nieuwste apparaatversies gebruiken om hun activiteit te verhullen. Deze zijn uiterst lastig te filteren voor analyse, tenzij je bezoekers begint te screenen voordat ze je website kunnen bekijken.

3. Controleer Je Serverlogboeken

Als je toegang hebt tot je hosting control panel, kijk dan in je server toegangslogboeken voor patronen die wijzen op geautomatiseerd verkeer:

• Snelle verzoeken van enkele IP-adressen.
• Verzoeken aan niet-bestaande pagina’s (vaak bots die zoeken naar kwetsbaarheden).
• User agents die zich identificeren als bekende webcrawlers (zowel goede als slechte).
• Verzoeken zonder verwijzingsinformatie.

Veel hostingaanbieders, waaronder DreamHost, bieden logboekanalyse-instrumenten in hun controlepanelen. Zoek naar ongebruikelijke pieken in bandbreedtegebruik die niet overeenkomen met marketingcampagnes of inhoudsupdates.

Zodra je een lijst hebt met IP-adressen die lijken te herhalen overtreders, kun je beginnen met het blokkeren van de IP-adressen, hetzij vanaf je webserver, zoals NGINX of Apache, of vanaf een CDN.

4. Gebruik Monitoringtools Van Derden

Soms kun je maar zoveel verkeer identificeren. Daarom zijn er gratis, externe tools zoals Cloudflare Analytics (als je hun dienst gebruikt) die verkeersanalyse van bots bieden.

Er zijn ook andere uitgebreide apps zoals:

• Wordfence: Voor WordPress-sites; identificeert kwaadaardige Bot-pogingen
• Sucuri: Biedt website firewall services met Bot-detectie
• MonsterInsights: Biedt verbeterde Google Analytics rapportage met Bot-filtering

Beheren En Blokkeren Van Slechte Bots Zonder De Goede Te Schaden

Ik raad aan om voorzichtig te zijn met het blokkeren van botverkeer, omdat je per ongeluk ook echte gebruikers kunt blokkeren. En je hebt ook een evenwichtige aanpak nodig die schadelijk geautomatiseerd verkeer blokkeert, terwijl nuttige webcrawlers behouden blijven.

Hier is hoe ik botbeheer zou implementeren zonder per ongeluk zoekmachines of legitieme diensten te blokkeren.

Stel Je robots.txt Bestand In

Jouw robots.txt-bestand dient als de eerste verdedigingslinie tegen ongewenste crawlers.

Maak of werk het bestand in de rootdirectory van je website bij met specifieke instructies voor verschillende botsoorten:

# Blokkeer AI-trainingscrawlers
User-agent: GPTBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: Google-Extended
Disallow: /

# Sta zoekmachines toe
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

# Sta AI-zoekbots toe die bronnen citeren
User-agent: ChatGPT-User
Allow: /

User-agent: PerplexityBot
Allow: /

Als je geen directe toegang hebt tot het robots.txt-bestand en WordPress gebruikt, kun je proberen de WP Robots Txt plugin te gebruiken die je toestaat het bestand te bewerken vanaf je WordPress dashboard.

Houd er rekening mee dat robots.txt werkt op basis van een eer-systeem. Goedgedragende webcrawlers respecteren deze richtlijnen, maar kwaadaardige bots negeren het bestand vaak volledig.

Implementeer Een Website Firewall

Voor meer agressieve websitebeveiliging, implementeer een Web Application Firewall (WAF) die bots op serverniveau kan blokkeren.

Je hebt ook nog een paar andere opties als een kleine ondernemer die websites met een laag volume beheert.

Cloudflare Gratis Plan:

• Biedt basisvaardigheden voor het bestrijden van bots
• Blokkeert automatisch duidelijk kwaadaardig verkeer
• Biedt aanpasbare firewallregels voor specifieke bedreigingen

Wordfence (WordPress-gebruikers):

• Bevat detectie- en blokkeerfuncties voor bots
• Updates voor realtime dreigingsinformatie
• Aanpasbare snelheidsbeperking om snelle verzoeken te voorkomen

Serverniveau Snelheidsbeperking

Veel hostingproviders bieden snelheidsbeperkende functies die automatisch IP-adressen die te veel verzoeken doen in korte tijd vertragen of blokkeren. Je kunt deze snelheidsbegrenzers configureren om IP-adressen te blokkeren die in een zeer korte tijd te veel pagina’s bezoeken.

Bijvoorbeeld, een normaal persoon zou een paar seconden nodig hebben om op een pagina rond te kijken voordat hij op verschillende links klikt. Een bot zou milliseconden nodig hebben om hetzelfde te doen.

Pluginoplossingen Voor WordPress Sites

Als je WordPress gebruikt, heb je extra opties voor botbeheer:

• Akismet: Filtert automatisch commentaar en spam in formulieren met een nauwkeurigheid van 99,99% met behulp van geavanceerde AI-filtering. Essentieel voor elke WordPress-site die gebruikersinzendingen accepteert.
• WP Cerber Security: Biedt uitgebreide botbescherming, inclusief beperking van inlogpogingen, IP-blokkering en geavanceerde algoritmen voor botdetectie.
• All-In-One Security (AIOS): Biedt firewallfuncties en botblokkeringmogelijkheden geschikt voor kleine zakelijke websites.

Jouw Complete Bot Beschermingsimplementatie Pad

Ik heb dit implementatieplan opgesplitst zodat het past binnen strakke schema’s en je helpt om van nul bescherming naar een werkende botverdediging te gaan in een korte tijd.

20 Minuten: Snelle Overwinningen

• Update het robots.txt bestand
• Activeer basisbeveiliging plugins 
• Controleer Google Analytics voor botpatronen

Begin met je robots.txt-bestand omdat dit de gemakkelijkste eerste stap is. Log in op de bestandsbeheerder van je website (of gebruik FTP) en maak of update het robots.txt-bestand in je rootdirectory. Kopieer de robots.txt-configuratie van eerder in dit artikel en plak deze erin.

Als je WordPress gebruikt, installeer en activeer dan nu meteen de Wordfence-beveiligingsplugin. De gratis versie omvat basis botbescherming en begint onmiddellijk duidelijk kwaadaardig verkeer te blokkeren.

Open Google Analytics om je verkeersbronnen te controleren op ongebruikelijke patronen. Zoek naar landen die je niet bedient, plotselinge verkeerspieken, of hoge bouncepercentages met een sessieduur van nul.

24 Uur: Laag Je Verdediging

• Richt een gratis Cloudflare-account in
• Configureer snelheidsbeperking
• Voeg CAPTCHA toe aan formulieren
• Schakel commentaar moderatie in

Meld je aan voor een gratis Cloudflare-account en voeg je website toe. Cloudflare bevindt zich tussen jouw site en de bezoekers, en blokkeert automatisch duidelijk botverkeer voordat het jouw server bereikt. De installatie duurt ongeveer 30 minuten en omvat het wijzigen van DNS-instellingen, maar Cloudflare begeleidt je bij elke stap.

Stel snelheidsbeperking in via je host om automatisch IP-adressen die te veel verzoeken doen te vertragen of te blokkeren. Configureer limieten die normaal browsen toestaan (een paar seconden per pagina) maar agressieve webcrawlers stoppen (meerdere pagina’s per seconde).

Voeg CAPTCHA toe aan kwetsbare formulieren met de reCAPTCHA plugin voor WordPress of Cloudflare Turnstile. Voeg onzichtbare CAPTCHA toe aan contactformulieren, commentaarsecties en gebruikersregistratiepagina’s om geautomatiseerde inzendingen te stoppen zonder echte gebruikers te irriteren.

Eén Week: Monitor en Optimaliseer

• Analyseer serverlogboeken
• Optimaliseer firewallregels
• Stel monitoringwaarschuwingen in
• Blokkeer problematische IP-ranges

Analyseer de toegangslogboeken van je server om botpatronen te identificeren die specifiek zijn voor jouw site. Zoek naar snel opeenvolgende verzoeken van enkele IP-adressen, verzoeken naar niet-bestaande pagina’s en verdachte user-agentreeksen. De meeste hosting control panels bevatten hulpmiddelen voor loganalyse die dit makkelijker maken.

Gebruik deze gegevens om aangepaste firewallregels te maken in Cloudflare of je beveiligingsplugin. Bijvoorbeeld, als je merkt dat bots uit bepaalde landen consequent problemen veroorzaken, kun je hele geografische regio’s blokkeren. Of als bepaalde user agents je site agressief blijven bezoeken, blokkeer dan die specifieke strings.

Stel bewakingswaarschuwingen in zodat je weet wanneer er pieken in botverkeer zijn. Tools zoals UptimeRobot of Pingdom kunnen je waarschuwen voor ongebruikelijke verkeerspatronen, trage laadtijden of pieken in serverbronnen die kunnen wijzen op een bot-aanval.

Één Maand: Geavanceerde Bescherming

• Voer gedragsanalyse uit
• Implementeer API-snelheidsbeperking
• Stel CDN-caching in
• Creëer bot-valstrikken

Voeg gedragsanalysetools toe zoals DataDome of Imperva die bots detecteren door het analyseren van muisbewegingen, typ patronen en de timing van pagina-interactie. Deze vangen geavanceerde bots die menselijk gedrag nabootsen.

Gebruik een CDN om statische bronnen agressief te cachen. Op deze manier richten bots zich op de cache en niet op je host, wat de belasting door herhaalde verzoeken vermindert.

Een van mijn favoriete technieken is het creëren van bot-honeypots. Als je veel spam in formulieren ziet, voeg dan een extra verborgen veld toe aan het formulier. Omdat bots naar de HTML van de pagina kijken tijdens het invullen van formulieren, zullen ze dit verborgen veld zien en er wat gegevens aan toevoegen. Je kunt veilig alle formulierinzendingen verwijderen die tekst bevatten in het verborgen veld, omdat een menselijke bezoeker dit niet kan zien.

De Toekomst van Botverkeerbeheer

Botverkeer verdwijnt niet. Met 71,5% van de bezoeken aan ons netwerk afkomstig van geautomatiseerde bronnen, overtreffen robots nu mensen met 3 tegen 1 op het internet.

Maar terwijl de meeste website-eigenaren nog steeds aan het uitzoeken zijn wat er gebeurt, heb jij alles wat je nodig hebt om deze botchaos voor je bedrijf om te draaien en zelfs te profiteren van de goede bots.

Dus ga voort en begin met het implementeren van botbeheersystemen terwijl je concurrentie nog steeds in paniek is over het nepverkeer!