Eén schakelaar in je CDN-dashboard kan een compleet bedrijf uit de index van Google trekken. Dat is geen overdrijving. Cloudflare staat tussen je bezoekers en je server, en dus ook tussen de crawlers van zoekmachines en je content. Goed ingesteld versnelt het je site en houdt het misbruikend verkeer buiten. Verkeerd ingesteld gooi je stilletjes de deur dicht voor Googlebot, Bingbot en de AI-crawlers die je juist wél binnen wil hebben.
Search Engine Roundtable wees onlangs op hoe vaak dit probleem inmiddels voorkomt. Een managed IT-provider zette Cloudflare's crawl control aan om alle bots te weren, en het verkeer van de site stortte twee weken lang in. Google Ads bleef gewoon kosten in rekening brengen, terwijl de Merchant Center-listings verdwenen en het organische verkeer instortte. De fout was makkelijk gemaakt en rampzalig om van te herstellen. Dat is de kern van cloudflare seo: dezelfde functies die je site beschermen kunnen hem slopen als je niet begrijpt wat elke instelling doet.
Deze gids laat zien hoe Cloudflare uiteindelijk Google blokkeert, hoe je de schade opspoort voordat het je weken omzet kost, en hoe je je configuratie repareert zonder je legitieme botbescherming weg te gooien.
Waarom cloudflare seo-problemen zo makkelijk ontstaan
Cloudflare is gegroeid van een simpel CDN tot een compleet security- en bot-managementplatform. Elke nieuwe laag voegt instellingen toe, en veel van die instellingen staan standaard op agressieve bescherming. Het dashboard is gebouwd om AI-scrapers, credential-stuffing-aanvallen en losgeslagen crawlers weg te houden bij je origin-server. Wat het niet altijd duidelijk maakt: een algemene botregel behandelt Googlebot precies hetzelfde als een kwaadaardig script.
De ellende begint meestal wanneer iemand die niet verantwoordelijk is voor SEO een goedbedoelde wijziging doorvoert. Een hostingpartij, een securityconsultant of een developer reageert op een piek in serverbelasting en zet een brede beperking aan. Zoals Search Engine Roundtable het beschreef, over het incident dat door Jonathan Bird werd gedeeld:
Hun managed IT-provider zette Cloudflare's crawl control aan om alle bots te stoppen met crawlen. Dit blokkeerde Google volledig van het crawlen van de site. Daardoor braken hun Google Ads, verdwenen alle Merchant Center-listings en verwijderde Google hun organische zoekverkeer.
Jonathan Bird, via Search Engine Roundtable
Soms is de blokkade een bewuste afweging. Brodie Clark beschreef een marktplaats die botrestricties op firewall-niveau moest instellen puur om de site online te houden onder de belasting, en dat verwoestte hun SEO in het proces. De les is in beide gevallen dezelfde: beslissingen over botregels en crawltoegang mogen niet los staan van je zoekstrategie.
De cloudflare instellingen die het vaakst de Google crawler blokkeren
Je hoeft niet het hele dashboard uit je hoofd te kennen, maar je moet wel weten welke knoppen het grootste risico vormen voor je rankings. Dit zijn de gebruikelijke verdachten achter Cloudflare die Googlebot blokkeren.
- Crawl control en AI-bot-blokkering: functies bedoeld om AI-scrapers te stoppen kunnen zo staan dat ze álle bots blokkeren, inclusief de zoekmachine-crawlers waar je van afhankelijk bent.
- Bot Fight Mode en Super Bot Fight Mode: brede instellingen die automatisch verkeer uitdagen of blokkeren. Slecht afgebakend gooien ze JavaScript-challenges naar Googlebot.
- WAF-regels (Web Application Firewall): eigen of managed regels die blokkeren op user agent, ASN of land kunnen legitieme crawler-ranges meepakken.
- Rate limiting: agressieve drempels kunnen Googlebot afknijpen wanneer die op schaal crawlt, wat timeouts en crawlfouten oplevert.
- Under Attack Mode: bedoeld voor noodgevallen, presenteert het een interstitiële challenge aan elke bezoeker, crawlers inbegrepen.
- IP- en landblokkering: verkeer beperken op geografie kan per ongeluk de datacenters uitsluiten van waaruit crawlers werken.
- Managed challenges en CAPTCHA's voor bots: elke menselijke-verificatiestap die Googlebot niet kan passeren maakt je pagina effectief onzichtbaar.
Waar je op moet letten is alles dat geformuleerd is als 'blokkeer alle bots' of 'daag automatisch verkeer uit'. Die instellingen maken geen onderscheid tussen goede en slechte crawlers, tenzij je ze dat vertelt.
Hoe je detecteert dat Cloudflare Googlebot blokkeert
Het enge aan deze incidenten is de vertraging. Rankings en indexering vallen niet op het moment dat een instelling verandert. Google moet eerst een crawl proberen, falen en herverwerken voordat pagina's beginnen weg te vallen. Tegen de tijd dat het verkeer van een klif valt, staat de foute configuratie mogelijk al dagen live. Zet detectie op zodat je het binnen uren opmerkt, niet weken.
Kijk eerst in Google Search Console
De URL-inspectietool laat je precies zien wat Google ziet wanneer het een pagina probeert op te halen. Voer een live test uit. Krijg je een ophaalfout, een challenge-pagina of een andere serverrespons dan 200, dan is Cloudflare een sterke verdachte. Het rapport Crawlstatistieken (onder Instellingen) toont pieken in mislukte verzoeken en ongebruikelijke responscodes. Het rapport Pagina's onder Indexering markeert URL's die nieuw zijn uitgesloten met redenen als 'geblokkeerd' of 'crawlanomalie'.
Doe zelf een fetch als Googlebot
Gebruik een tool waarmee je je pagina's kunt opvragen met de Googlebot user agent, of draai een live crawl. Als een normale browser de pagina laadt maar een Googlebot-verzoek een 403, 503 of een challenge teruggeeft, heb je je probleem gevonden. Een technische SEO-audit hoort precies dit soort crawltoegang-verificatie op te nemen over al je templates, niet alleen de homepage.
Houd de Cloudflare-logs in de gaten
De Security Events en Analytics van Cloudflare tonen welke verzoeken werden uitgedaagd of geblokkeerd en door welke regel. Filter op bekende Googlebot user agents en IP-ranges. Zie je legitieme crawler-verzoeken die worden uitgedaagd, dan heb je je bewijs én de exacte regel die je moet aanpassen.
Hoe je je cloudflare configuratie repareert zonder bescherming te verliezen
Het doel is niet om security uit te zetten. Het doel is te zorgen dat geverifieerde zoekmachines en de AI-crawlers die je wilt erdoor komen, terwijl al het misbruikende verkeer buiten blijft. Cloudflare geeft je de middelen om precies te zijn, dus gebruik ze.
- 1Identificeer de storende regel. Gebruik Security Events om te vinden welke WAF-regel, botinstelling of rate limit crawlers uitdaagt.
- 2Verifieer goede bots in plaats van alle bots te blokkeren. Cloudflare kan geverifieerde crawlers (Googlebot, Bingbot en anderen) onderscheiden van niet-geverifieerd verkeer. Sta geverifieerde zoekmachinebots expliciet toe.
- 3Bak je botbescherming af. In plaats van een algemene blokkade richt je je op het gedrag dat je echt wilt stoppen: hoogfrequent scrapen, specifieke ASN's of bekende slechte user agents.
- 4Maak allow-regels voor zoek- en AI-crawlers die je waardevol vindt. Wil je in AI-antwoorden verschijnen, blokkeer dan niet de crawlers die die voeden. Beslis bewust welke AI-bots je toelaat.
- 5Versoepel rate limits voor geverifieerde crawlers. Geef Googlebot genoeg ruimte om op schaal te crawlen zonder je throttle te raken.
- 6Gebruik Under Attack Mode niet standaard. Zet het alleen in tijdens een echte aanval en schakel het uit zodra de dreiging voorbij is.
- 7Test opnieuw met een live Googlebot-fetch. Bevestig een schone 200-respons voordat je de fix als klaar beschouwt.
Moest je bots beperken vanwege een echt belastingsprobleem, dan is de oplossing capaciteit en caching, geen permanente crawlerblokkade. Cloudflare's eigen caching kan een groot deel van het verkeer opvangen dat je origin overbelast, wat betekent dat je agressieve restricties misschien helemaal niet nodig hebt zodra caching goed staat.
Bouw een proces zodat het niet nog eens gebeurt
Het terugkerende thema in al deze verhalen is dat degene die de wijziging doorvoerde niet wist dat het SEO zou raken. Barry Schwartz merkte op dat dit niet nieuw is: sites blokkeren Google al meer dan 20 jaar per ongeluk via Apache-regels en robots.txt-fouten. De tools zijn veranderd, de oorzaak niet. Het is een communicatie- en proceskloof.
- Leg vast wie eigenaar is van de Cloudflare-instellingen en wie akkoord moet geven op bot- en firewallwijzigingen.
- Voeg crawltoegang-monitoring toe aan je alerts. Een plotselinge daling in crawlverzoeken of een piek in 403's moet iemand wakker maken.
- Neem CDN- en firewallconfiguratie mee in elke reguliere SEO-audit zodat afwijkingen worden opgemerkt.
- Brief je hosting- en IT-providers dat het blokkeren van bots directe gevolgen heeft voor SEO en betaalde media.
- Houd een changelog bij zodat je snel kunt terugdraaien als rankings bewegen.
Crawlbaarheid is de basis waar al het andere op rust. Het heeft geen zin te investeren in contentstrategie of linkbuilding als een firewallregel Google stiekem belet er iets van te zien.
Veelgestelde vragen
Kan Cloudflare mijn SEO schaden?
Ja, als het verkeerd is ingesteld. Cloudflare verbetert prestaties en security bij een juiste configuratie, maar brede bot-blokkering, agressieve WAF-regels of Under Attack Mode kunnen Googlebot blokkeren en pagina's uit de index laten vallen. Zorgvuldig gebruikt is Cloudflare per saldo positief voor SEO.
Hoe weet ik of Cloudflare Googlebot blokkeert?
Voer een live URL-inspectie uit in Google Search Console en controleer op ophaalfouten of andere responses dan 200. Bekijk de Security Events van Cloudflare op geblokkeerde of uitgedaagde verzoeken van Googlebot user agents en IP-ranges. Een daling in crawlverzoeken in het rapport Crawlstatistieken is een ander sterk signaal.
Welke cloudflare instellingen blokkeren zoekmachine-crawlers?
De meest voorkomende boosdoeners zijn crawl control ingesteld om alle bots te blokkeren, Bot Fight Mode en Super Bot Fight Mode, eigen WAF-regels die blokkeren op user agent of land, agressieve rate limiting en Under Attack Mode. Elke instelling die automatisch verkeer uitdaagt of blokkeert zonder goede bots te verifiëren kan Googlebot meepakken.
Hoe bescherm ik tegen slechte bots zonder Google te blokkeren?
Gebruik de geverifieerde-botfunctie van Cloudflare om zoekmachine- en AI-crawlers die je waardevol vindt expliciet toe te staan, en baken je bescherming af op specifiek misbruikend gedrag in plaats van een algemene blokkade. Verbeter caching zodat echte belastingspieken je niet tot agressieve restricties dwingen, en test na elke wijziging opnieuw met een Googlebot-fetch.
Laat je crawltoegang controleren voordat het je geld kost
Eén Cloudflare-schakelaar kan maanden werk in twee weken ongedaan maken, en de schade wordt vaak pas zichtbaar nadat de omzet al weg is. Draai je Cloudflare of een ander CDN voor je site, dan loont het om iemand te laten verifiëren dat Google en de AI-crawlers waar je op rekent elke belangrijke pagina echt kunnen bereiken. Praat met LASEO over een technische SEO-audit die crawlbaarheid, bottoegang en CDN-configuratie afdekt, zodat een firewallregel je rankings nooit meer stilletjes onderuithaalt. Neem contact op en we checken het voor je.