Tag: seo

De manier waarop we online informatie raadplegen, ondergaat momenteel een significante transformatie, grotendeels aangedreven door de opkomst van grote taalmodellen (LLMs) zoals ChatGPT, Gemini en Claude. Deze geavanceerde AI-systemen verschuiven de focus van traditionele zoekresultaten naar directe, antwoordgerichte ervaringen.

Echter, LLMs staan voor een aanzienlijke uitdaging bij het verwerken van de immense en vaak ongestructureerde hoeveelheid content op het internet. De HTML-structuur van webpagina’s, inclusief navigatiemenu’s, advertenties en JavaScript, kan voor AI-systemen een bron van ruis en inefficiëntie zijn bij het ontcijferen van de werkelijke inhoud.

Bovendien hebben LLMs beperkingen in de grootte van hun contextvenster, waardoor het moeilijk wordt om complete websites in één keer te verwerken.

Om deze uitdagingen aan te gaan, is er een nieuw webstandaard voorgesteld: het llms.txt-bestand. Dit initiatief, dat in september 2024 werd geïntroduceerd door Jeremy Howard, medeoprichter van Answer.AI, is bedoeld als een manier voor websites om LLM-vriendelijke content aan te bieden. Het doel is om het voor AI-systemen gemakkelijker te maken de informatie op een website te begrijpen en te gebruiken.

De verschuiving naar antwoordgerichte informatieconsumptie door LLMs creëert een nieuwe noodzaak voor websiteoptimalisatie die verder gaat dan traditionele zoekmachineoptimalisatie (SEO). Waar SEO zich richt op het scoren in zoekresultaten, streven LLMs ernaar directe antwoorden te geven, wat de relevantie van optimalisatie voor “Answer Engine Optimization” (AEO) benadrukt. llms.txt is een voorgestelde tool in dit nieuwe optimalisatielandschap.

De inherente beperkingen van LLMs, met name de contextvenstergrootte en de complexiteit van HTML-parsing, vormen een knelpunt voor AI-gestuurde informatievergaring. llms.txt beoogt dit te verlichten door een gestroomlijnde en gestructureerde weergave van websitecontent te bieden.  

Wat is een llms.txt-bestand?

Een llms.txt-bestand is een gestandaardiseerd Markdown-document dat zich in de root van een website bevindt, bijvoorbeeld example.com/llms.txt. Het fungeert als een gecureerde index voor LLMs. Dit bestand biedt beknopte samenvattingen van het doel van de site en cruciale contextuele details. Daarnaast bevat het geprioriteerde links naar machineleesbare bronnen, vaak in Markdown-formaat.  

Het is nuttig om llms.txt te vergelijken met de bekende bestanden robots.txt en sitemap.xml. robots.txt regelt hoe zoekmachinebots een site crawlen door toegang tot bepaalde pagina’s toe te staan of te verbieden. sitemap.xml daarentegen bevat een lijst van alle indexeerbare pagina’s op een website om zoekmachines te helpen content te ontdekken en te indexeren. llms.txt is specifiek ontworpen voor LLMs om de inhoud van een website te begrijpen, en niet alleen de structuur of toegankelijkheid voor crawling. In tegenstelling tot robots.txt, dat gaat over toegangscontrole, draait llms.txt om contentlevering en -begrip.

Waar robots.txt zich richt op zoekmachinebots, is llms.txt bedoeld voor LLM-gebaseerde AI-systemen. Het doel van llms.txt is AI-optimalisatie (GEO – Generative Engine Optimization) en kennispresentatie.  

Er zijn twee hoofdversies van het bestand: llms.txt, dat een index is met links en korte beschrijvingen, en llms-full.txt, dat alle gedetailleerde content direct bevat. Een belangrijk overweging is dat llms-full.txt te groot kan worden voor het contextvenster van de meeste LLMs. llms.txt vertegenwoordigt een verschuiving van optimalisatie voor traditionele zoekmachines naar optimalisatie voor AI-gestuurde systemen.

Terwijl traditionele SEO zich richt op vindbaarheid door crawling en indexering, concentreert llms.txt zich op het direct begrijpelijk en bruikbaar maken van content voor LLMs voor inferentie en het genereren van antwoorden. De keuze tussen llms.txt en llms-full.txt weerspiegelt een balans tussen het bieden van een snel overzicht en het aanbieden van uitgebreide content. Website-eigenaren moeten de afwegingen in termen van contextvensterbeperkingen en de specifieke behoeften van de LLMs die ze willen targeten, overwegen.  

Functie	llms.txt	robots.txt	sitemap.xml
Doel	AI-modellen begeleiden bij het gebruik van de content van een site.	Webcrawlers vertellen welke pagina’s ze wel en niet mogen bezoeken.	URLs oplijsten om zoekmachines te helpen een site efficiënt te indexeren.
Doelgroep	LLMs (zoals ChatGPT, Bard, enz.)	Zoekmachinecrawlers (Googlebot, Bingbot, enz.).	Zoekmachines (Google, Bing, enz.).
Formaat	Markdown	Plain text	XML
Doel	Optimalisatie voor AI (GEO), kennispresentatie.	Pagina’s gemakkelijker vindbaar maken (SEO).	Indexering verbeteren.
Impact op SEO/GEO	Verhoogt mogelijk de zichtbaarheid in AI-zoekresultaten.	Controle over crawling en indexering.	Verbeterde ontdekking en indexering van pagina’s.
Ondersteuning AI	Ja	Nee	Nee
Naleving vereist	Vrijwillig	Aanbevolen voor zoekmachines.	Aanbevolen voor zoekmachines.
Locatie op website	Root directory (/llms.txt)	Root directory (/robots.txt)	Meestal root directory (/sitemap.xml) of gespecificeerd in robots.txt.

Waarom is llms.txt Nuttig en Noodzakelijk?

De implementatie van een llms.txt-bestand kan aanzienlijke voordelen bieden voor website-eigenaren. Het helpt LLMs de content van de website beter te begrijpen en efficiënter te verwerken, wat leidt tot nauwkeurigere en relevantere antwoorden op gebruikersvragen.

Dit kan de interactie met AI-systemen verbeteren, waardoor LLMs meer accurate en relevante informatie kunnen ophalen en betere antwoorden kunnen geven in chatbots en AI-gestuurde zoekresultaten. Bovendien kan het de zichtbaarheid van een site in AI-gegenereerde zoekresultaten vergroten, wat mogelijk de vindbaarheid en gebruikerservaring ten goede komt. Een goed opgesteld llms.txt-bestand verhoogt ook de kans op accurate citaten of vermeldingen in door AI gegenereerde antwoorden. Het biedt website-eigenaren meer controle over welke content door AI-modellen wordt geraadpleegd en hoe.  

Het bestand is geoptimaliseerd voor de verwerking door LLMs door niet-essentiële elementen zoals navigatiemenu’s, JavaScript en CSS te elimineren, waardoor de focus volledig op de kritieke content ligt. Dit resulteert in efficiënt contextbeheer, waarbij alleen de meest relevante data binnen het contextvenster van de LLM wordt gebruikt.

Het Markdown-formaat zorgt ervoor dat het bestand gemakkelijk leesbaar is voor zowel mensen als machines. llms.txt is ontworpen om naast bestaande webstandaarden zoals robots.txt en sitemap.xml te functioneren. Door een llms.txt-bestand te implementeren, bereiden websites zich voor op een AI-gestuurde toekomst waarin LLMs een primaire manier worden om webcontent te consumeren.

Het kan ook intern worden gebruikt om AI-tools naar gecureerde, betrouwbare informatie te leiden en biedt bedrijven theoretisch meer controle over hoe hun informatie in AI-gegenereerde antwoorden verschijnt. Het implementeren van llms.txt kan worden gezien als een proactieve stap naar optimalisatie voor het veranderende zoeklandschap dat door AI wordt gedomineerd.

Hoewel de directe voordelen mogelijk nog niet volledig zichtbaar zijn vanwege de huidige adoptiegraad, kan vroege adoptie websites gunstig positioneren voor toekomstige AI-integraties.

De mogelijkheid tot meer controle over het gebruik van content door AI-modellen beantwoordt de groeiende bezorgdheid bij contentmakers over ongeautoriseerd scrapen en het gebruik van hun content voor het trainen van LLMs.  

Hoe Werkt het?

Een llms.txt-bestand volgt een eenvoudige structuur en is geschreven in Markdown-formaat. Het bestand begint met een H1-kop die de naam van het project of de site bevat , gevolgd door een blockquote met een korte samenvatting van het project en de belangrijkste informatie. Het kan nul of meer Markdown-secties bevatten met gedetailleerde informatie.

Daarnaast kan het nul of meer Markdown-secties bevatten die zijn afgebakend door H2-koppen, met daarin lijsten met URLs naar relevante documenten of bronnen. Deze lijsten bevatten Markdown-hyperlinks met optionele notities over het bestand. Er kan ook een optionele sectie worden opgenomen voor secundaire informatie die kan worden overgeslagen als een kortere context nodig is.  

Tijdens de inferentie (wanneer een gebruiker een vraag stelt) kunnen LLMs llms.txt gebruiken om relevante databronnen te identificeren. LLMs of hun orchestratieframeworks (zoals RAG-systemen) parseren llms.txt om te bepalen welke data relevant is. De LLM haalt eerst /llms.txt op om de scope van de site te bepalen en geprioriteerde URLs te extraheren. Vervolgens worden gekoppelde Markdown-bestanden (vaak met .md toegevoegd aan HTML-paden) opgehaald en verwerkt.

Deze Markdown-bestanden bieden schone, gefocuste content zonder overbodige elementen. Het gestructureerde Markdown-formaat van llms.txt is essentieel voor de effectiviteit ervan. Het biedt een balans tussen menselijke leesbaarheid voor website-eigenaren en machineleesbaarheid voor LLMs, waardoor efficiënte parsing en begrip van de content mogelijk is.

De voorgestelde structuur met een duidelijke hiërarchie (H1, blockquote, H2-secties) helpt LLMs snel de essentiële informatie over een website te begrijpen en naar de meest relevante bronnen te navigeren. Deze gestructureerde aanpak is cruciaal om de beperkingen van het verwerken van ongestructureerde HTML te overwinnen.  

De Huidige Staat en Discussies Rondom llms.txt

De adoptiegraad van llms.txt is nog beperkt en het blijft een voorgestelde standaard. Grote LLM-providers zoals OpenAI, Anthropic en Google hebben nog geen wijdverbreide ondersteuning of gebruik van llms.txt in hun crawlers officieel aangekondigd. Desondanks hebben sommige bedrijven en projecten, waaronder Anthropic, Mintlify, Cursor, Tinybird en FastHTML, het geïmplementeerd. Er bestaat zelfs een directory van sites die llms.txt gebruiken.  

Er zijn verschillende meningen en discussies over de nuttigheid van llms.txt. Sommige experts, zoals John Mueller van Google, zijn sceptisch over de huidige waarde en vergelijken het met de nutteloze keywords meta tag. Er zijn zorgen dat AI-diensten niet actief op zoek zijn naar llms.txt-bestanden.

Ook wordt de vraag gesteld waarom LLMs een apart Markdown-bestand nodig zouden hebben als ze de originele content en gestructureerde data al kunnen crawlen en begrijpen. De mogelijkheid om AI-agents te spammen met verschillende content in llms.txt in vergelijking met wat gebruikers zien, is ook een punt van zorg.

Anderen beweren dat llms.txt alleen LLMs ten goede komt en niet website-eigenaren, met name vanwege het ontbreken van canonical links naar de originele URLs in de Markdown-bestanden. Het linken naar .md-bestanden zou kunnen leiden tot een slechte gebruikerservaring als die links aan menselijke gebruikers worden gepresenteerd.

Er zijn echter ook mensen die het zien als een “nice-to-have” dat AI-tools zal helpen en in de toekomst belangrijker kan worden naarmate AI-gestuurd zoeken populairder wordt. Sommigen hebben een toename van LLM-verkeer waargenomen na de implementatie van llms.txt, hoewel het totale verkeersvolume mogelijk nog klein is.

De huidige discussie rondom llms.txt benadrukt de spanning tussen de potentiële voordelen van optimalisatie voor AI en het gebrek aan wijdverbreide adoptie en duidelijk bewijs van de effectiviteit ervan. Website-eigenaren moeten de potentiële voordelen afwegen tegen de huidige onzekerheid en de inspanning die nodig is voor implementatie.

De zorg over het ontbreken van canonical links in llms.txt is een valide punt dat moet worden aangepakt als de standaard bredere acceptatie wil krijgen. Het bieden van een mechanisme voor AI om informatie nauwkeurig toe te schrijven en terug te linken naar de originele HTML-content zou de gebruikerservaring verbeteren en zorgen over mogelijke negatieve SEO-implicaties wegnemen.  

Hoe Implementeer je een llms.txt-bestand?

Het implementeren van een llms.txt-bestand is relatief eenvoudig. Het begint met het creëren van een Markdown-bestand. Dit bestand moet beginnen met een H1-kop die de titel van de site bevat , gevolgd door een korte samenvatting van de site in een blockquote. Vervolgens kunnen secties (H2) voor belangrijke contentgebieden worden toegevoegd, zoals documentatie, API, beleid en producten. Onder elke sectie worden belangrijke links met korte beschrijvingen in standaard Markdown-notatie geplaatst.

Optioneel kan een sectie “Optioneel” worden toegevoegd voor minder belangrijke pagina’s. Het bestand wordt opgeslagen als llms.txt en geüpload naar de root directory van de website. Het overwegen van het creëren en hosten van een llms-full.txt-bestand is ook relevant , evenals het aanbieden van Markdown-versies van individuele pagina’s door .md aan de originele URL toe te voegen.  

Er zijn verschillende tools en plugins beschikbaar om het genereren van llms.txt-bestanden te vereenvoudigen, zoals de Seomator LLMs.txt Generator, Firecrawl, de Website LLMs WordPress plugin en Mintlify.

Het is raadzaam om de toegankelijkheid van het bestand in een browser te testen. Hoewel het handmatig creëren van een eenvoudig llms.txt-bestand overzichtelijk is, kan het gebruik van geautomatiseerde tools en plugins voor grotere en complexere websites het proces aanzienlijk vereenvoudigen en ervoor zorgen dat het bestand up-to-date blijft met wijzigingen op de website.

Het voorstel om ook Markdown-versies van individuele pagina’s aan te bieden, biedt een meer gedetailleerde aanpak om content AI-vriendelijk te maken, wat vooral nuttig kan zijn voor uitgebreide documentatie of belangrijke informatiepagina’s.  

Conclusie: De Toekomst van Weboptimalisatie voor AI

Het llms.txt-bestand is een veelbelovende standaard die tot doel heeft de manier waarop grote taalmodellen webcontent begrijpen en gebruiken te verbeteren. Hoewel de wijdverspreide adoptie en de concrete impact ervan nog moeten blijken, biedt het website-eigenaren een kans om hun content te optimaliseren voor de opkomende AI-gestuurde webomgeving. Door een gestructureerd en beknopt overzicht van hun belangrijkste informatie te bieden, kunnen websites de nauwkeurigheid en relevantie van AI-gegenereerde antwoorden beïnvloeden en mogelijk hun zichtbaarheid in AI-zoekresultaten vergroten.

Ondanks de scepsis van sommige experts en de huidige beperkte ondersteuning door grote LLM-providers, is de implementatie van een llms.txt-bestand een relatief eenvoudige en risicoloze inspanning. Vooral voor websites met waardevolle content die ze nauwkeurig door AI-systemen willen laten begrijpen en citeren, kan het de moeite waard zijn om deze standaard te overwegen.

Het vertegenwoordigt een proactieve stap in de richting van weboptimalisatie voor AI, een toekomst waarin de interactie tussen websites en AI-agents steeds belangrijker zal worden. Het is essentieel voor website-eigenaren om op de hoogte te blijven van de ontwikkelingen op het gebied van AI en webstandaarden om hun online strategieën effectief aan te passen aan dit veranderende landschap.

De toekomst van weboptimalisatie zal waarschijnlijk een tweeledige aanpak vereisen, gericht op zowel menselijke gebruikers als AI-agents. Standaarden zoals llms.txt vormen een vroege stap in deze richting, en hun evolutie zal cruciaal zijn voor de manier waarop informatie wordt ontdekt en geconsumeerd in het tijdperk van AI.

Het succes van llms.txt zal afhangen van de bereidheid van grote LLM-ontwikkelaars om het te adopteren en prioriteit te geven in hun systemen.   Bronnen die gebruikt zijn in het rapport