NLWeb: Mach deine Website fit für KI-Agenten

Microsoft pusht mit Version 0.55 ein radikales Open-Source-Protokoll in den Markt, bei dem eine direkte NLWeb MCP Integration herkömmliches HTML in maschinenlesbares JSON-LD für autonome Agenten übersetzt. Der im Mai 2025 vorgestellte Standard entreißt externen KI-Crawlern die Datenhoheit und gibt sie den Publishern zurück, geriet aber zuletzt durch fatale Path-Traversal-Exploits in die Security-Kritik. Diese Analyse dekonstruiert die technische Architektur des Systems, die Abgrenzung zu Google A2A und die massiven WAF-Hürden bei der praktischen Implementierung.

NLWeb MCP: Die wichtigsten Infos

Microsoft hat mit NLWeb ein neues Open-Source-Protokoll veröffentlicht, das deine Website in einen nativen Server für KI-Agenten verwandelt. Statt dass fehleranfällige Bots von Anbietern wie OpenAI deine Inhalte unstrukturiert auslesen, liefert NLWeb gezielt maßgeschneiderte Daten im maschinenlesbaren Format direkt an die KI. Dadurch dreht sich das Machtverhältnis im Web zugunsten der sogenannten „Publisher Control“ um, weil du künftig als Betreiber exakt definierst, welche Informationen maschinell nutzbar sind. Für dein Business bedeutet das volle Datensouveränität und den direkten Schutz vor geschäftsschädigenden KI-Halluzinationen bezüglich deiner Produkte oder Leistungen. Gleichzeitig droht hierbei jedoch eine echte IT-Kostenfalle, wenn unzählige externe KI-Agenten ungebremst auf deine neuen Schnittstellen zugreifen und deine Server-Ressourcen massiv belasten. Starte den strategischen Einsatz gezielt bei strukturierten Daten wie Produktdatenbanken, FAQs oder Katalogen, um diese künftig für externe KI-Assistenten fehlerfrei zur Verfügung zu stellen. Verzichte für die technische Umsetzung auf komplexe Eigenentwicklungen und setze sofort auf etablierte Managed Services wie den Cloudflare NLWeb Worker zur einfachen Anbindung. Richte bei der Einführung zudem zwingend eine Web Application Firewall mit strikten Token-Limits ein, um explodierende Infrastrukturkosten durch unerwünschte KI-Agenten konsequent zu blockieren.

Zusammenfassung

• NLWeb MCP Release: Microsoft führte das Open-Source-Protokoll am 19. Mai 2025 ein, um Webseiten über die Datei /.well-known/nlweb.json in maschinenlesbare Datenbanken für autonome Agenten zu verwandeln.
• Publisher Control statt HTML-Scraping: Website-Betreiber behalten die Datenhoheit und liefern strukturierte JSON-LD-Antworten exakt über die zwei dedizierten Endpunkte GET /ask und GET /mcp an externe KIs aus.
• Integriertes Rate-Limiting: Gemäß der offiziellen Spezifikation v0.55 wird der Traffic von KI-Agenten ohne Applikationslogik direkt über die Transportschicht per HTTP-Statuscode 429 und Retry-After-Headern (z.B. via Cloudflare Worker) limitiert.
• Gepatchte System-Sicherheit: Eine im August 2025 entdeckte „Three Dots to Root“-Schwachstelle, die den unbefugten Ausleseprozess lokaler Serverdateien ermöglichte, wurde von Microsoft direkt im Commit 8ffdb0f geschlossen.

Was ist NLWeb MCP? NLWeb MCP ist ein von Microsoft entwickeltes Open-Source-Protokoll, das jede Web-Instanz in einen nativen Server für das Model Context Protocol verwandelt. Das System übersetzt herkömmliche Web-Inhalte basierend auf Schema.org direkt in maschinenlesbares JSON-LD und ermöglicht autonomen KI-Agenten den standardisierten Abruf strukturierter Daten.

Der Paradigmenwechsel: Publisher Control statt Scraping

Am 19. Mai 2025 führte Microsoft auf der Build-Konferenz eine radikale Abkehr vom bisherigen KI-Datenbezug ein. Bislang ließen Plattformen wie OpenAI oder Anthropic ihre Crawler Webseiten unstrukturiert einlesen – was oftmals zu Informationsverlusten und Halluzinationen führte. Die Architektur von NLWeb dreht dieses Machtverhältnis durch echte Publisher Control um. Der Website-Betreiber behält die Hoheit über die bereitgestellte Datenbank und definiert das exakte maschinenlesbare Format für den Agent.

R.V. Guha, federführender Entwickler und Erfinder von Schema.org, fasste die Vision für das Protokoll auf der Konferenz prägnant zusammen: „NLWeb verhält sich zu MCP und A2A wie HTML zu HTTP“.

Klassisches LLM-Scraping (z.B. durch OpenAI)	NLWeb MCP Architektur
Datenabruf	Plattform crawlt HTML-Text, oft ungenau und verlustreich.	Strikte Publisher Control über strukturierte JSON-LD Daten.
Datenhoheit	KI-Anbieter interpretiert Inhalte auf eigenen Servern.	Website-Betreiber definiert Meta-Daten und filtert Output via Endpoint.
Präzision	Hohes Risiko für KI-Halluzinationen bei Tabellen oder Listen.	Maschinenlesbares Format durch exakte Schema-Typen.

Discovery, /.well-known/nlweb.json und Endpunkte

Autonome Systeme und KI-Agenten erkennen die Kompatibilität der Domain vollautomatisch über die Datei /.well-known/nlweb.json. Diese standardisierte Discovery-Phase leitet externe Zugriffe auf zwei primäre Server-APIs weiter:

• GET /ask: Dieser Standard-Endpunkt bedient Conversational Queries und liefert strukturierte Arrays wie @type: SearchSummary oder ItemList zurück. Er ist optimal für den direkten User-Dialog.
• GET /mcp: Der dedizierte API-Zugang für verifizierte Systeme. Hier agiert die Website nativ als Tool über das Model Context Protocol, um hochpräzise Rohdaten auszuliefern.

Spezifikation v0.55: Rate-Limits und HTTP-Transport

Die Open-Source-Implementierung (MIT-Lizenz) regelt Zugriffe bewusst nicht über überladene Applikationslogik. Laut der NLWeb-Spezifikation v0.55 wurde das Rate-Limiting konsequent an den HTTP-Transport-Layer delegiert. KIs sind gezwungen, standardmäßige Netzwerk-Statuscodes wie 429 (Too Many Requests) im direkten Zusammenspiel mit Retry-After-Headern zu respektieren.

Für das produktive Hosting nutzen moderne Server-Architekturen häufig einen dedizierten Cloudflare NLWeb Worker. Dieser abstrahiert die sichere Exponierung der Endpunkte und rechnet den durch Agenten verursachten Ressourcenverbrauch granular nach regulären Compute-Zyklen des Worker-Prozesses ab.

Im Web 4.0 definieren verschiedene Protokolle die maschinelle Interaktion, wobei NLWeb als primäre Strukturierungsebene fungiert und jede Website in einen nativen NLWeb MCP Server verwandelt. Im Gegensatz zum Anthropic MCP, welches die Tool-Nutzung durch KI-Modelle standardisiert, regelt Google A2A die direkte Verhandlung zwischen autonomen Agenten. Das von Shopify und Google gepushte UCP fokussiert sich hingegen strikt auf E-Commerce-Transaktionen, während NLWeb dediziert für den strukturierten Informationsabruf (Retrieval) konzipiert wurde.

Laut den Maintainern rund um R.V. Guha auf der Microsoft Build-Konferenz 2025 gilt ein zentraler Architektur-Leitsatz: „NLWeb verhält sich zu MCP und A2A exakt so, wie HTML zum HTTP-Protokoll“. Anstatt miteinander zu konkurrieren, bilden diese Protokolle ein modulares Ökosystem für das Agentic Web.

Die Protokolle im direkten Vergleich

Um die Rollenverteilung in der Architektur des modernen Webs zu verdeutlichen, zeigt die folgende Übersicht die klare Abgrenzung der Standards:

Protokoll	Entwickler / Treiber	Hauptfunktion im Web 4.0
NLWeb (Natural Language Web)	Microsoft & Open Source	Definiert die Website als maschinenlesbare Datenbank (`Schema.org`). Publisher behalten die Datenhoheit.
Anthropic MCP (Model Context Protocol)	Anthropic	Standardisiert, wie eine LLM (Large Language Model) externe Tools aufruft. Die NLWeb MCP Endpunkte dienen hierbei als Werkzeugkasten.
Google A2A (Agent-to-Agent)	Google	Regelt die Kommunikation und Aufgabenübergabe, wenn KI-Agenten untereinander autonom verhandeln (z.B. Reiseplaner übergibt an Zahlungs-KI).
UCP (Universal Commerce Protocol)	Google & Shopify	E-Commerce-Fokus: Rein transaktionaler Standard zum Befüllen von Warenkörben und für maschinelle Checkouts.

Retrieval vs. Transaktion (NLWeb und UCP)

Die Abgrenzung der Use-Cases ist operativ entscheidend. Das von Branchengrößen wie Shopify gestützte UCP ist hochgradig transaktional ausgelegt. Es tritt in Kraft, wenn ein Agent stellvertretend für den Nutzer einen Checkout auf einer Plattform ausführt.

Im Gegensatz dazu löst NLWeb das pure Retrieval-Problem. Die Implementierung einer RAG-Architektur (Retrieval-Augmented Generation) greift hierbei auf die Endpunkte der Webseiten zu, anstatt auf lokale Caches. Wenn beispielsweise ein Cloudflare Worker einen /ask Endpunkt bereitstellt, liefert die Datenbank des Publishers passgenaue JSON-LD Antworten.

Publisher Control: Paradigmenwechsel gegenüber OpenAI-Scrapern

Bisher durchsuchten die Crawler von OpenAI oder Anthropic das klassische HTML des Internets unstrukturiert – oftmals verlustreich, ressourcenintensiv und fehleranfällig für Halluzinationen. NLWeb dreht dieses Machtverhältnis durch das Konzept der Publisher Control um:

• Souveränität über Metadaten: Der Website-Betreiber entscheidet über die Datei /.well-known/nlweb.json und den /mcp Enpunkt selbst, welche strukturierten Daten an externe KIs übergeben werden.
• Kein Black-Box-Scraping: Anstatt abzuwarten, was ein LLM-Crawler interpretiert, pusht die Website exakt validierte Fakten an den Aufrufer (sogenannte Grounded Citations).
• Sicherheit & Routing: Zwar warnten Experten initial vor Sandbox-Ausbrüchen in der Open-Source-Referenz, doch dafür bieten moderne Hosted-Services nun strikte Token-Kontrollen, um das unkontrollierte Scrapen der eigenen Vektordatenbank durch fremde Agenten zu unterbinden.

Die Implementierung einer NLWeb MCP-kompatiblen Infrastruktur erfolgt in der Unternehmenspraxis am effizientesten über Managed Hosting-Dienste wie Cloudflare Worker. Anstatt aufwendige RAG-Eigenbauten zu skalieren, fungiert der Cloudflare-Dienst als intelligenter Router, der Webseiten-Datenbanken nativ anbindet und Inhalte als maschinenlesbares JSON für autonome Agenten bereitstellt.

Laut der im Mai 2025 von den Maintainern publizierten NLWeb-Spezifikation v0.55 schiebt diese Architektur das komplexe Token-Management vollständig aus der Applikationslogik in den standardisierten HTTP-Transport-Layer. Nachfolgend der technische Workflow am Use-Case der Rezept-Datenbank „Serious Eats“.

Ein Use-Case aus der Praxis: Rezept-Datenbank „Serious Eats“

Wenn ein persönlicher KI-Agent den Auftrag erhält, „vegetarische Diwali-Rezepte“ zu beschaffen, greift er nicht mehr auf das veraltete, fehleranfällige Parsing von HTML-Strukturen zurück. Stattdessen sendet er einen direkten Request an den /ask oder /mcp Endpunkt der Ziel-Website. Der Server verarbeitet die Anfrage und liefert die exakten Daten hochstrukturiert zurück.

Der Unterschied in der technischen Effizienz ist gravierend:

Parameter	Klassisches KI-Scraping (z.B. OpenAI)	NLWeb MCP mit Cloudflare Worker
Verfahren	Kompletter Download des HTML-Dokuments	Gezielter API-Request an `/mcp`
Kontrolle	Externer Crawler interpretiert Daten	Der Publisher kontrolliert den Output strikt
Ergebnis	Oft verlustbehaftet oder halluzinierend	Präzises Schema.org-Markup mit Quellenangabe

Schritt 1: Infrastruktur aufsetzen und deklarieren

Der Verzicht auf monströse RAG-Eigenbauten (Retrieval-Augmented Generation) steht im Fokus moderner Deployments.

• Website als Data Source: Die Rezeptdatenbank wird schlicht als „Website Data Source“ in der Cloudflare-Umgebung indiziert.
• Discovery einrichten: Um externe KIs über die Kompatibilität zu informieren, wird auf Root-Ebene die Datei /.well-known/nlweb.json hinterlegt. Dieses File signalisiert jedem anfragenden Model Context Protocol-System die verfügbaren Endpunkte.

Schritt 2: Routing und Rate-Limiting via Cloudflare Worker

Das Managed Hosting übernimmt die harte operative Arbeit. Der eingesetzte Cloudflare Worker sitzt als WAF (Web Application Firewall) vor der Datenbank und regelt den Traffic.

• LLM-Routing: Der Worker nimmt die Anfrage des Agenten entgegen, parst sie gegen die eigene Vektordatenbank und nutzt, falls RAG benötigt wird, gekoppelte Dienste wie Snowflake Cortex.
• Rate-Limits durchsetzen: Um explodierende Ausgabekosten durch marodierende Agenten zu verhindern, sendet der Worker bei hohem Traffic den HTTP-Statuscode 429 (Too Many Requests) mitsamt einem Retry-After-Header, den das Protokoll der Gegenseite zwingend befolgen muss. Abgerechnet wird nach regulären Compute-Zyklen.

Schritt 3: Maschinenlesbarer Output (Grounded Citations)

Das resultierende maschinlesbare Format schützt die Open Source sowie proprietäre Kerninhalte vor Verdeckungs-Algorithmen (wie sie teils bei Anthropic oder Google auftreten können).

• Der Worker liefert als Antwort reines JSON-LD basierend auf dem Schema.org-Standard aus.
• Für die „Serious Eats“-Anfrage enthält der Payload Arrays wie @type: Recipe, genaue Kalorienangaben und das entscheidende Feature: Grounded Citations.
• Dafür garantiert der Output exakte Quellenangaben, sodass die autonome KI das Rezept nur referenzieren, aber nicht ohne Attribution entwenden kann.

Der „Three Dots to Root“ Exploit ist eine kritische Path-Traversal-Schwachstelle in der Referenzarchitektur von NLWeb, die es ermöglichte, sensible Serverdateien über manipulierte URL-Parameter auszulesen. Diese von Sicherheitsexperten im August 2025 entdeckte Lücke offenbarte fundamentale Risiken bei der direkten Anbindung autonomer KI-Systeme an lokale Serverstrukturen via NLWeb MCP.

Die Path Traversal Vulnerability im Detail

Im August 2025 deckten die Security-Forscher Aonan Guan und Lei Wang eine fatale Schwachstelle in der Open-Source-Implementierung auf. Autonome Agenten (oder gezielt agierende Angreifer) konnten durch einfache Manipulation der URL-Parameter aus dem ursprünglich vorgesehenen Datenverzeichnis ausbrechen. Dieser als „Three Dots to Root“ bezeichnete Exploit ermöglichte den direkten Zugriff auf tiefgreifende System-Files. Dadurch wurden kritische Root-Dateien wie /etc/passwd oder .env-Files, die oftmals die privaten OpenAI-API-Keys der Webseitenbetreiber enthielten, völlig ungeschützt exfiltriert.

Microsofts Patch-Politik in der Kritik

Obwohl Microsoft die Schwachstelle umgehend durch das spezifische Code-Update unter Commit 8ffdb0f schloss, weigerte sich der Konzern strikt, für diesen Vorfall eine offizielle Common Vulnerabilities and Exposures (CVE) Nummer auszustellen.

Die Publikation Hackaday kritisierte dieses Vorgehen scharf und stufte das Protokoll als „Solution in search of a problem“ ein. Die Kritik der InfoSec-Community fokussierte sich darauf, dass ein ambitioniertes Web 4.0-Protokoll nicht an rudimentären Input-Sanitization-Problemen der 1990er Jahre scheitern darf, wie sie bei simplen HTTP-Requests längst gelöst sein sollten.

Operative Extreme: WAF, Token-Scoping und LLM-Kosten

Die Bereitstellung der dedizierten Schnittstellen (insbesondere /ask und der /mcp–Endpunkt) verschiebt die primäre Rechenlast direkt auf die Architektur der jeweiligen Webseitenbetreiber (Publisher).

Risiko-Faktor	Klassische Web-Infrastruktur (HTML)	NLWeb & MCP Endpunkte
Datenzugriff	Beschränkt auf öffentlich sichtbares DOM	Direkter Zugriff auf maschinenlesbare `JSON`-Strukturen
Infrastruktur-Last	Gering durch Edge-Caching	Extrem durch lokales LLM-Routing und Retrieval
Zugriffskontrolle	Basis-Schutz vor simplen DDoS-Attacken	Komplexe WAF-Regeln zwingend erforderlich

In der Praxis führt diese Architektur zu massiven Anforderungen im Betrieb:

• Token-Scoping: Ohne strikte Limits drohen Publishern enorme Kostenexplosionen, wenn externe Agenten im Sekundentakt LLM-Abfragen über die Server des Betreibers generieren.
• Datenabfluss: Fehlen exakt konfigurierte Web Application Firewall (WAF) Regeln, können fremde KI-Dienste die gesamte lokale Vektor-Datenbank unreguliert nach strukturierten Metadaten und RAG-Inhalten durchsuchen und scrapen.

Was ist der Unterschied zwischen NLWeb und herkömmlichem HTML?

Das NLWeb MCP ist die fundamentale Datengrundlage für das Agentic Web. Während eine Website mittels HTML visuelle Inhalte für Menschen rendert, fungiert NLWeb als standardisierte Schnittstelle für maschinenlesbares JSON-LD, basierend auf dem bekannten Schema.org-Markup. Es exponiert Datenstrukturen rein analytisch für autonome Agenten.

Merkmal	Herkömmliches HTML	NLWeb (Natural Language Web)
Primäre Zielgruppe	Menschliche Nutzer (visuelle Ausgabe im Browser)	Autonome KI-Agenten und Machine-Learning-Modelle
Datenformat	Unstrukturierter Text, CSS und DOM-Strukturen	Strukturiertes JSON via `/.well-known/nlweb.json`
Response-Logik	Auslieferung des kompletten Quelltextes	Direkte Queries (z. B. `@type: Recipe`) am Endpunkt `GET /ask`

Ersetzt NLWeb die gängigen OpenAI-Crawler?

Ja, das Protokoll erzwingt einen radikalen Strategiewechsel von ressourcenintensivem Web-Scraping hin zur sogenannten Publisher Control. Anstatt dass externe Crawler die Webseite blind kopieren, definiert die Webseiten-Datenbank exakt, was übergeben wird. Dies bringt handfeste Vorteile mit sich:

• Schutz vor Halluzinationen: LLMs erhalten saubere, vorverifizierte Fakten (Grounded Citations).
• Datensouveränität: Der Publisher kontrolliert die Metadaten.
• Performance: Der Server muss nicht den Traffic monströser OpenAI– oder Anthropic-Scraping-Bots bedienen.

Ist NLWeb MCP Open Source?

Die Technologie ist vollständig quelloffen und unter einer permissiven MIT-Lizenz lizenziert. Laut der von Microsoft im Mai 2025 veröffentlichten Spezifikation v0.55 wurde die primäre Referenz-Implementierung in Python programmiert. Alternativ zur Selbsteinrichtung bieten Managed-Infrastrukturanbieter wie Cloudflare bereits fertige NLWeb Worker für ein serverloses Hosting an.

Was passiert, wenn die LLM-Token-Limits überschritten werden?

Die aktuelle Architektur des NLWeb MCP delegiert jedwedes Rate-Limiting strikt an die HTTP-Transportschicht. Greift ein Agent zu aggressiv auf die Daten zu, erzwingt der Webserver automatisch einen standardisierten 429 (Too Many Requests)-Statuscode. Jeder Client muss zwingend dafür programmiert sein, die mitgelieferten Retry-After-Zeitangaben des Headers zu respektieren, bevor ein erneuter Request erfolgt.

Kann NLWeb für E-Commerce und Checkouts genutzt werden?

Für transaktionale Workflows ist das Framework ausdrücklich nicht konzipiert, da der analytische Fokus auf dem Retrieval (Informationsabruf) liegt. Sofern KI-Agenten proaktiv Kaufverträge abschließen oder Warenkörbe befüllen sollen, favorisieren Größen wie Google und Shopify das UCP (Universal Commerce Protocol). Während NLWeb zur Datensuche dient, standardisiert UCP das autonome Bezahlen.

Fazit

NLWeb MCP markiert das endgültige Ende des wilden Web-Scrapings und gibt Publishern die Kontrolle über ihre Daten zurück. Anstatt unstrukturiertes HTML an externe Crawler von OpenAI oder Anthropic auszuliefern, verwandelt dieses von Microsoft initiierte Open-Source-Protokoll jede Website in einen nativen Server für strukturierte, maschinenlesbare JSON-Daten. Trotz der revolutionären Architektur der im Mai 2025 veröffentlichten Spezifikation v0.55 zeigen fatale Lücken wie der „Three Dots to Root“-Exploit, dass die technische Implementierung in der Praxis noch mit massiven Kinderkrankheiten und Sicherheitsproblemen zu kämpfen hat. Die Idee ist brillant, die aktuelle Ausführung erfordert jedoch einen extrem wachsamen IT-Betrieb.

Für wen lohnt sich der sofortige Umstieg und wer sollte besser noch warten?

• Nutze NLWeb MCP, wenn du als Publisher über eine wertvolle native Datenbank verfügst (z.B. Fachartikel, Rezepte) und den unkontrollierten Datenabfluss an autonome KI-Agenten stoppen willst. Hier gewinnst du echte Datenhoheit.
• Nutze es, wenn du ohnehin auf Edge-Computing setzt. Über einen Managed Cloudflare Worker lässt sich der HTTP-Traffic sauber delegieren, die Discovery via /.well-known/nlweb.json einrichten und dedizierte Endpunkte (wie /mcp) absichern.
• Lass die Finger davon, wenn dein primärer Fokus der E-Commerce ist. Dafür lösen Alternativen wie das UCP-Protokoll (von Google und Shopify gepusht) transaktionale Checkout-Aufgaben deutlich besser, während NLWeb rein für das Informations-Retrieval konzipiert ist.
• Warte ab, wenn du eine klassische, kleine Informationsseite betreibst. Der Aufwand für komplexe Firewall-Regeln und das finanzielle Risiko durch ungedeckelte LLM-Routing-Anfragen sprengen den Nutzen für simple Portale völlig.
• Lass es bleiben, wenn dir tiefgreifende IT-Security-Ressourcen fehlen. Wer das Model Context Protocol ohne striktes Token-Scoping als Open Source System direkt auf dem eigenen Server hostet, riskiert durch einen fehlerhaften Endpunkt fatale Systemzugriffe und explodierende Kosten durch dauerfeuernde Agenten.

Der Paradigmenwechsel ist nicht mehr aufzuhalten. Das Protokoll löst das fundamentale Problem halluzinierender KIs, indem es auf exaktes Schema.org-Markup für maschinenlesbares Output-Design setzt. Dein nächster Action-Step: Analysiere den Traffic deiner wichtigsten Website-Inhalte, erstelle eine Strategie für die strukturierte Datenfreigabe und teste das Framework zunächst in einer isolierten Server-Sandbox, bevor du autonome Systeme auf deine Livedaten loslässt.

NLWeb MCP bleibt trotz initialer Sicherheitslücken der wegweisende Standard für das Agentic Web, weil es die Macht von KI-Plattformen zurück zum Dateninhaber verlagert, was es für zukunftsorientierte Technologie-Entscheider essenziell macht, diese Architektur sofort in die eigene IT-Roadmap aufzunehmen.