Waarom ChatGPT zelf een zoekindex bouwt met de codenaam Labrador
Twee jaar lang gingen we er van uit dat ChatGPT gewoon steunde op externe zoekmachines Bing en Google, zonder meer. Die veronderstelling is nu volledig ingemaakt. Uit onderzoek van Peec AI blijkt dat OpenAI al sinds 2023 aan een eigen zoekindex bouwt. Intern "Labrador” genoemd. Ondertussen speelt dit hondje wel een serieuze rol in wat ChatGPT je voorschotelt als antwoord.
Wat is Labrador precies?
Vooraleer we Labrador uitleggen, starten we best bij wat het is. Een zoekindex is eigenlijk een gigantisch register van 't internet. Te vergelijken met een index achteraan een lijvig boek (maar dan met miljarden pagina's). Een zoekmachine crawlt of doorzoekt het web op voorhand, slaat alles op en zoekt bij elke vraag in het register in plaats van live het internet af te schuimen. Daarom krijg je in een fractie van een seconde een antwoord.
Labrador is ChatGPT's eigen versie van zo'n register. Een hele familie van indexen: eentje voor het reguliere web en aparte voor PDF's, YouTube, nieuws, wetenschappelijke papers, Wikipedia, lokale zaken, financiën, juridisch, medisch, shopping en beelden. Herkenbaar? Het is min of meer hoe Google zelf ooit eens begon: een centrale index aangevuld met gespecialiseerde laag saus erbovenop.
Dit is geen nevenprojectje, blijkt uit OpenAI's eigen vacatures. Ze zoeken mensen voor "indexing systems, retrieval pipelines en serving layers" en voor het combineren van klassieke lexicale ranking (à la BM25, hetzelfde principe waar Google ooit op draaide) met moderne embeddings.
Waarom OpenAI hier in feite toe gedwongen werd
Tijdens het antitrustproces tegen Google getuigde Nick Turley, hoofd van ChatGPT, dat OpenAI een samenwerking met Google had voorgesteld en dat Google weigerde. Vanaf dan moest OpenAI zelf een index bouwen met als doel om tegen eind 2023 al 80% van de zoekopdrachten intern te kunnen beantwoorden. Turley gaf toe dat volledige onafhankelijkheid van externe bronnen nog jaren zou duren, mogelijk vijf of meer.
Even doorspoelen naar heden: ChatGPT test op dit moment actief of zijn eigen index betere resultaten geeft dan gescrapete zoekresultaten, vooral op shopping. Bij sommige gebruikers draait die eigen index al mee voor een deel van de vragen. Daarnaast houdt ChatGPT ook een cache bij van pagina's, in plaats van ze telkens live op te halen. Zo kan het systeem snel blijven antwoorden, ook op grote schaal.
Google en Microsoft zijn niet buiten spel gezet
ChatGPT heeft zijn oude bronnen niet gedumpt. Het gebruikt nog altijd Google (via scraping-partners zoals Bright Data en Oxylabs, want rechtstreekse toegang krijgt OpenAI niet), Microsoft's Web IQ-platform, en specifieke partners zoals Yelp en TripAdvisor voor lokale info. Het is dus geen kwestie van direct vervangen. OpenAI voegt stapsgewijs meer eigen indexonderdelen toe, test die naast de bestaande bronnen uit, en breidt uit waar Labrador beter blijkt te presteren.
Voor jou als merk verandert er op korte termijn dus niets zichtbaars: je site wordt nog altijd via dezelfde kanalen gevonden. Maar de richting is duidelijk. Hoe beter Labrador wordt, hoe minder ChatGPT op die externe bronnen moet terugvallen.
Wat betekent dit voor jou?
Zichtbaarheid in Bing of Google is geen garantie meer dat je ook door ChatGPT wordt gevonden of aangehaald. Verkoop je producten, kijk dan zeker hoe je opduikt in ChatGPT's shopping-resultaten, want daar test OpenAI zijn eigen index het meest actief. Werk je lokaal, zorg dan dat je vermeldingen op bv. Yelp en TripAdvisor kloppen, want die worden als vaste partners behandeld. En wil je weten of ChatGPT je site al gecachet heeft, dan kan je dat nagaan via de lockdown-modus in de instellingen.
De spelregels voor zichtbaarheid in AI-antwoorden verschuiven opnieuw.
Meer lezen?
Dit artikel is de beknopte versie van een veel diepgaander stuk. Alle credits gaan naar Peec AI, die dit tot nog toe het grondigst hebben uitgezocht, tot en met live server-side events van ChatGPT zelf. Wil je de volledige technische onderbouwing, met alle bronvermeldingen en schermafbeeldingen? Lees dan hun originele analyse: ChatGPT built its own search index.
