Webscrapen wordt duurder: hoe Google de rekening verhoogt voor SEO-tools

Je hebt jarenlang een vaste routine opgebouwd. Elke dag sla je dezelfde gazet gratis open aan de kiosk. Het kan de uitbater toch geen zak schelen. Tot nu! Vanaf morgen moet iedereen aan die kiosk eerst een klein circusnummer opvoeren voor je de krant in handen krijgt: langs de achterdeur, een code intoetsen, een minuutje wachten. Voor jou als oppervlakkige lezer is dat misschien een lichte ergernis. Maar stel dat er ook iemand aan diezelfde kiosk staat die elke ochtend honderd exemplaren komt ophalen om ze elders door te verkopen. Diezelfde ene minuut, maal honderd, voelt hij wel in z'n portefeuille. Tot zover de analogie, want dat is ongeveer wat er afgelopen week gebeurde met Google Search. Wees maar zeker, de gevolgen reiken verder dan louter een technische implicatie voor developers 😉.

Wat er precies verandert door google.com/goto-URL

Google rolt de google.com/goto-URL uit als tussenstap in de zoekresultaten. Vroeger zag je met een muisklik meteen het echte webadres van een resultaat. Nu krijg je eerst een doorverwijzing via Google zelf te zien: klik je op een resultaat dan passeer je langs Google's eigen server, die je vervolgens doorstuurt naar de bestemming. Een kleine technische ingreep met een grote intentie: het wordt voor externe partijen veel moeilijker om in bulk te achterhalen welke URL's daadwerkelijk in de zoekresultaten staan.

Een (voorlopig anonieme) Google-woordvoerder bevestigde de uitrol tegenover Search Engine Roundtable, weliswaar in nogal algemene bewoordingen: "We have a long history of deploying technical measures against evolving forms of abuse, and we regularly take steps to protect our services and users."

Test wordt werkelijkheid

De verandering komt niet uit de lucht vallen. Google testte de goto-parameter in juli 2026 op kleine schaal en zonder officiële communicatie. Als je toen goed keek, kon je het zien: steeds meer zoekresultatenpagina's die enkel nog goto-links toonden in plaats van directe URL's. Vijf weken later is die test veranderd in een structurele uitrol. Derek Perkins, een bekend figuur binnen technische SEO, die de evolutie nauwgezet volgt, sprak van "nearly a 100% rollout across several residential ip providers."

De echte impact: geen versperring, maar een prijsverhoging

Het verleidelijke om te denken is dat Google hiermee scraping stopt. Dat is niet wat er gebeurt. Zoals de SEO-community het treffend samenvatte: dit blokkeert scraping niet, het maakt het duurder. Elke link moet nu individueel gedecodeerd worden in plaats van rechtstreeks uitgelezen. Op de schaal van een enkele zoekopdracht is dat verwaarloosbaar. Op de schaal van honderden miljoenen zoekwoorden per maand, wat de realiteit is voor rank trackers, SEO-tools en AI-platformen die op zoekresultaten trainen of erop voortbouwen, tikt dat stevig aan: meer rekenkracht, meer requests, meer proxybandbreedte, en daarbovenop nog captcha's die het foutpercentage flink doen oplopen.

Wie hierachter zit, laat zich raden zonder dat Google het hardop zegt. SerpApi, dat Google momenteel voor de rechter sleept wegens het scrapen van zoekresultaten, is een voor de hand liggende kandidaat. Maar de maatregel raakt breder: rank trackingtools, SEO-platformen als SEMrush en Ahrefs, en de AI-assistenten die zoekresultaten gebruiken als brandstof voor hun eigen antwoorden.

Ergens wel zeer ironisch. Google's businessmodel draait op het crawlen en indexeren van andermans content. Nu AI overviews diezelfde content synthetiseren en bovenaan tonen, verdwijnt precies dezelfde klikprikkel die publishers al jaren aan Google verwijten. Google verdedigt zich nu tegen exact het soort disintermediatie waar het zelf jarenlang van beschuldigd werd.

Hoe tools en marketeers hiermee omgaan

De cijfers maken meteen duidelijk waarom "duurder" hier geen loze bewering is. Derek Perkins rekende voor dat het volledig herleiden van alle links op een ranking van vijf resultatenpagina's nu tussen de 500 en 1.000 aparte requests vergt: de gecodeerde goto-links zijn niet lokaal te ontcijferen, en Google laat zelfs de lichtere HEAD-requests niet meer door die de belasting konden verlichten. Providers moeten dus voor elke link een volledige GET-aanvraag afvuren.

Dit is bovendien geen eerste keer. Toen Google vorig jaar de num=100-parameter afschafte, die tools toeliet om honderd resultaten in één keer op te halen in plaats van per tien, zag Semrush naar eigen zeggen de kost daarvoor vertienvoudigen. Ahrefs liet toen via Tim Soulo verstaan dat het overwoog om alleen nog de eerste twee resultatenpagina's te blijven volgen in plaats van de volledige ranking, puur om financieel haalbaar te blijven. AccuRanker en SISTRIX pasten hun verzamelmethodes op vergelijkbare manier aan. Die geschiedenis herhaalt zich nu, maar dan nog nadrukkelijker.

Concreet zie je bij tool-aanbieders telkens dezelfde drie reacties terugkomen. Sommigen absorberen de meerkost en rekenen die vroeg of laat door aan hun klanten (zoals Semrush destijds deed). Anderen knippen in de diepte van wat ze nog volgen (Ahrefs). Nog anderen proberen technische omwegen, maar die worden doorgaans vrij snel geblokkeerd zodra Google ze opmerkt dus dat is geen duurzame strategie op lange termijn. Grotere spelers zoals DataForSEO en SerpApi hebben zich intussen al aangepast, maar wat dat concreet betekent voor hun eigen kostprijs en dus voor jouw factuur, is nog niet overal even duidelijk.

Voor marketeers en merken vertaalt zich dat in twee praktische zaken:

• Ten eerste: reken op iets ruwere en tragere rank tracking-data de komende maanden, met kans op kleine inconsistenties tussen cijfers van voor en na de uitrol en mogelijk een hogere rekening voor de tools die je vandaag gebruikt. 

   

• Ten tweede, en dat weegt zwaarder: wie voor zijn zichtbaarheid volledig leunt op derde partijen om te weten hoe hij scoort, wordt kwetsbaar zodra die derde partij het moeilijker krijgt. Eigen data, zoals Search Console en Analytics, wordt daardoor niet optioneel maar fundamenteel: dat zijn de kanalen die Google zelf openhoudt, precies omdat ze first-party zijn.

Meer lezen?

Deze blog is deels gebaseerd op de berichtgeving van Barry Schwartz op Search Engine Roundtable, inclusief de bevestiging van Google zelf.

Advies nodig rond je online zichtbaarheid?

Google verandert de spelregels weer en dat zal het blijven doen. We denken graag met je mee over een aanpak die niet afhankelijk is van de laatste truc uit de doos, maar eentje die bouwt op een fundament dat blijft staan. Neem gerust contact met ons op.