Was ist der Normalfall, wenn ein Agent eine Seite will?

Er holt eine Webseite. Typischerweise HTML. Es gibt keinen amtlichen Normalfall nur aus Markdown und keinen nur über eine API. Die meisten Sites können eine Notiz namens robots.txt hinterlegen. Fehlt sie, darf ein Crawler nach RFC 9309 auf Ressourcen zugreifen. Erreichbar ist nicht vorgesehen.

Ist robots.txt ein Schloss?

Nein. Der Standard sagt: die Regeln sind keine Form der Zugangsberechtigung. OpenAI sagt, die Regeln gelten für ChatGPT-User möglicherweise nicht, wenn ein Mensch gefragt hat. Anthropic lässt Claude-User über robots.txt sperren und sagt, seine Bots achten Signale, nicht zu crawlen. Eine Notiz ist kein Schloss.

Jeremy Howard hat sie am 3. September 2024 vorgeschlagen. Version 2 trägt das Datum 10. August 2026. Es ist eine Karte von Seiten, die ein Agent nutzen kann, wenn ein Mensch gefragt hat. Es ist kein Schloss und kein Internetstandard. In der Stichprobe des HTTP Archive vom Juli 2025 hatten etwa zwei Sites von hundert eine gültige Datei.

Was ist ein öffentliches Site-MCP?

Eine Buchse, die die Site genannt hat. Der Agent des Besuchers kann öffentliche Seiten fragen, statt aus dem HTML zu raten. Autorisierung ist in der Spezifikation optional. Dieser Band stützt sich auf vier laufende Beispiele. Es ist keine Zählung.

Ist eine öffentliche Seite ein Agentenkorpus?

Nicht als öffentlicher Standard. Zwei Sites führen das als Hausregel, damit ein Entwurf im CMS keine Agentenseite wird. Verlegerverbände gehen die andere Richtung: Inhalte unter Bedingungen, nicht bloss weil die Seite öffentlich ist.

Wer benennt den Leser?

Die Site, wenn sie eine Tür schneidet und sagt, was gelesen werden darf. Erreichbar ist nicht vorgesehen. Eine erreichbare Seite ist noch kein benannter Leser.

Die bestellte Tür

Jemand fordert eine URL an. Eine Seite kommt zurück.

Damit beginnt dieser Band. Nicht mit einem Protokoll. Nicht mit einem Produkt.

Wer eine Website betreibt, kennt das schon. Wer ein Chat-Werkzeug nutzt, das selbst nachschaut, steht bereits auf einer der beiden Seiten.

Für Menschen hat die Site längst ein Gesicht: HTML, Navigation, einen Titel, einen Absatz, bei dem man bleiben kann.

Agenten kommen durch die Wand. Sie nehmen dieselbe Seite, wenn nichts sie aufhält.

Scrape heisst in diesem Band: eine Maschine holt die Seite über die gewöhnliche Weboberfläche, nicht über eine Fläche, die die Site eigens für Agenten vorgesehen hat. Die Branche gebraucht das Wort weiter. Hier kommt es auf die Unterscheidung an.

Man kann das Loch lassen. Oder man schneidet eine Tür und sagt, was gelesen werden darf.

Die Site kann eine Tür vorsehen.

Die Wand ist der Normalfall

Der Normalfall ist noch HTML.

Will ein Agent eine Seite, holt er eine Webseite. Typischerweise HTML. Es gibt keinen amtlichen Normalfall nur aus Markdown. Es gibt keinen amtlichen Normalfall nur über eine API.

Die meisten Websites können eine kleine Textdatei an einer bekannten Adresse hinterlegen. Die Datei heisst robots.txt. Sie ist eine Notiz an Crawler: welche Seiten die Site lieber in Ruhe gelassen hätte.

Ein RFC ist ein nummerierter Internetstandard. Ingenieure behandeln ihn als vereinbarte Regel. RFC 9309 ist das Robots Exclusion Protocol. Es ist ein Standard. Es sagt auch, die Regeln in robots.txt seien «not a form of access authorisation.»

Auf diesen Satz kommt es an.

Ist die Datei nicht da — antwortet der Server etwa mit einer 404 —, darf der Crawler unter dem Robots Exclusion Protocol auf Ressourcen des Servers zugreifen.

Ist die Datei wegen eines Server- oder Netzfehlers nicht erreichbar — etwa ein 5xx-Fehler —, muss der Crawler vollständiges Sperren annehmen.

Liegt die Datei vor, passt aber keine Gruppe auf diesen Crawler und gibt es keine Platzhaltergruppe, gelten keine Regeln.

Eine fehlende robots.txt setzt also keine Beschränkung des Robots Exclusion Protocol. Der Crawler darf fortfahren.

Das ist keine Berechtigung.

robots.txt ist eine Notiz. Sie ist kein Schloss.

Die Labore ziehen um diese Notiz verschiedene Grenzen. Nützlich ist nicht nur der Name des Crawlers. Nützlich ist, was er tut.

Ein Trainingscrawl ist die Maschine eines Labors, die das Web abgeht und Material sammelt, das zur Modellentwicklung beitragen kann. Ein Abruf, den ein Mensch auslöst, ist etwas anderes. Jemand hat eine Frage gestellt. Das Modell geht und holt eine Seite.

OpenAI zieht diese Linie ausdrücklich. ChatGPT-User dient bestimmten Handlungen eines Nutzers. OpenAI sagt: weil diese Handlungen von einem Nutzer ausgehen, gelten die Regeln in robots.txt möglicherweise nicht.

Anthropic zieht sie anders. Claude-User ist der Bot, wenn jemand Claude bittet, eine Seite zu holen. Anthropic sagt: Claude-User in robots.txt zu sperren, verhindert diesen Abruf; seine Bots achten Signale, nicht zu crawlen.

Dieselbe Datei hat also nicht bei jedem Anbieter von Agenten dieselbe operative Bedeutung.

Google trennt gängige Crawler, Sonderfälle und Abrufe, die ein Nutzer auslöst. Das Crawlen für die Suche ist das eine. Andere Nutzungen stehen daneben.

Grounding heisst: das Modell soll aus benannten Seiten antworten, nicht nur aus dem, was es schon erinnert. Google-Extended ist ein besonderes Token, das eine Site in robots.txt schreiben kann. Es soll bestimmte Nutzungen von Gemini und Vertex steuern, ohne die Seite aus der gewöhnlichen Google-Suche zu nehmen. Die offizielle Crawler-Seite von Google sagt nicht, dass Google-Extended eine Seite aus den AI Overviews nimmt.

Cloudflare sitzt am Rand, nicht als Crawler. Viele Sites stehen dahinter. Es ist die Vorhalle vor dem Server. Cloudflare sagt, die Einhaltung von robots.txt sei freiwillig. Seine Produkte können eine verwaltete Datei veröffentlichen und getrennt eine Bot-Politik durchsetzen. Die Notiz und der Mechanismus, der sie erzwingt, sind nicht dasselbe.

Das ist die Wand.

Eine Seite kann erreichbar sein. Ein Crawler darf sie unter dem Robots-Protokoll holen. Keine der beiden Tatsachen sagt für sich, dass die Site diesen Weg für einen Agenten vorgesehen hat.

Figure 1. Die Wand ist der Normalfall. Ein Agent holt eine Webseite, wenn Notiz oder Rand ihn nicht aufhalten. Eine fehlende robots.txt ist kein Schloss und keine Bestimmung.

Eine Karte ist kein Schloss

Einige Sites hinterlegen jetzt eine zweite kleine Datei. Sie heisst llms.txt.

Jeremy Howard bei Answer.AI hat /llms.txt am 3. September 2024 vorgeschlagen. Der geltende Vorschlag ist v2, geändert am 10. August 2026.

Es ist eine kuratierte Markdown-Karte. Markdown ist Klartext, den ein Modell ohne Menüs und Layout einer Webseite lesen kann. Ein Agent kann die Datei nutzen, um Seiten zu finden, die beim Helfen einer Person wahrscheinlich zählen.

Es ist nicht robots.txt. Es ist kein Crawl-Verbot.

Der offizielle Vorschlag beschreibt /llms.txt als Information, die Agenten beim Nutzen einer Website hilft. Version 2 empfiehlt auch saubere Markdown-Fassungen der Seiten und übliche Linkrelationen zwischen der gewöhnlichen Seite, ihrer Markdown-Alternative und der Datei llms.txt, die den Bereich beschreibt.

Es gibt kein IETF-RFC dafür. Es ist ein Vorschlag und eine Konvention, kein Internetstandard.

Der Vorschlag sagt inzwischen, Tausende von Sites veröffentlichten eine. Das spricht für Verbreitung. Es ist keine Zählung des ganzen Webs.

Die stärkste gemessene Primärquelle, die ich gefunden habe, bleibt der Crawl des HTTP Archive vom Juli 2025, im Web Almanac im Januar 2026 veröffentlicht. In dieser Stichprobe hatten etwa zwei Sites von hundert eine gültige Datei. Die Zahlen waren 2,13 Prozent der Desktop-Seiten, 2,1 Prozent der mobilen Seiten und 324 184 gültige Dateien auf mobilen Sites. Viele kamen aus Systemen und Plugins, die die Datei automatisch erzeugen.

Zwei Sites, die ich in diesem Band nachvollzogen habe, stellen eine bereit. thierry-gilgen-ict.ch/llms.txt ist eine Überschrift, ein Blockzitat, eine Zeile, die die öffentliche Tür nennt, eine Liste der Field Notes und ein optionaler Kontakt. theoldhandofasia.ch/llms.txt enthält zweisprachige Listen, eine Zeile, die die öffentliche Tür nennt, und den Hinweis, dass öffentliche Agentenressourcen nur lesend sind. Beide stellen auch /agents bereit.

Eine Karte ist kein Schloss.

Sie sagt einem Agenten, wo die Räume sind. Sie hindert eine andere Maschine nicht daran, HTML über die gewöhnliche Weboberfläche zu nehmen. Sie stiftet keine Lizenz. Sie sieht nicht jeden möglichen Leser vor.

Es kann einen dritten Gegenstand geben.

Keine Notiz. Keine Karte.

Eine Tür, die die Site absichtlich freigibt.

Figure 2. Drei Gegenstände, drei Aufgaben. robots.txt ist eine Notiz. llms.txt ist eine Karte. Ein öffentliches MCP ist eine Tür, die die Site genannt hat.

Eine Tür, die man nennen kann

Dafür gibt es einen gängigen Stecker. Man nennt ihn MCP, das Model Context Protocol.

Man kann ihn als Buchse denken. Ein Client fragt einen Server nach strukturierten Ressourcen oder Werkzeugen, statt Präsentations-HTML zu nehmen und zu raten, was zählt.

Die geltende Spezifikation Streamable HTTP ist einfacher als frühere Fassungen. Die Revision vom 28. Juli 2026 hat den eigenständigen GET-Stream-Endpunkt entfernt und Sitzungen auf Protokollebene entfernt. Ein heutiger HTTP-Server gibt den MCP-Endpunkt frei und nimmt Anfragen per POST entgegen. Server-Sent Events können dort, wo es passt, noch in einer einzelnen Antwort erscheinen. Der alte langlebige Stream ist weg.

Autorisierung ist für MCP-Implementierungen optional. Nutzt eine HTTP-Implementierung sie, legt die Spezifikation einen heutigen Autorisierungsfluss fest, gestützt auf OAuth 2.1 und verwandte Standards.

Ein MCP ohne Authentifizierung ist deshalb nicht automatisch falsch. Ein öffentliches, nur lesendes Site-MCP ist eine Wahl, die die Site treffen kann.

Dieser Band stützt sich auf vier Beispiele, die ich bestätigt habe. Es ist keine Zählung jedes öffentlichen Website-MCP im Web.

Die ICT-Site unter thierry-gilgen-ict.ch.

The Old Hand of Asia unter theoldhandofasia.ch.

Joost de Valk, der über das Web schreibt, auf joost.blog. Am 4. Mai 2026 hat er seinen Endpunkt als absichtlich öffentlich und ohne Authentifizierung beschrieben.

Und cocktail.glass, eine weitere Site, die eine öffentliche MCP-Fläche freigibt.

Es gibt andere. Diese vier sind die Beispiele, auf die sich dieser Band stützt.

The Last Interface hat schon gesagt: Software kann etwas werden, das man aufruft, wie man einen Stecker aufruft. Das ist nicht diese Architekturnotiz. Hier geht es um eine Website.

The Unappointed Operator hat schon gesagt: ein Prozess, den man gestartet hat, kann von selbst handeln. Man hält an. Man sieht hin. Man benennt ihn. Das ist nicht dieser Test. Das bleibt auf der Site.

Ich habe die zwei Sites angesehen, die diesem Band am nächsten stehen.

Beide stellen HTML für Menschen bereit. Beide stellen Markdown bereit. Beide stellen /llms.txt bereit. Beide stellen /agents bereit. Beide geben /mcp nur lesend und ohne Authentifizierung frei.

Was ein Besucher im Browser sieht, ist die öffentliche Seite. Was der Agent an der öffentlichen Tür dieser zwei Sites fragen kann, ist dasselbe öffentliche Korpus.

Das ist die Bestimmung, die sie gewählt haben.

Auf der ICT-Site sagt die öffentliche Seite: bringen Sie Ihren Agenten. Das öffentliche MCP braucht keinen Schlüssel. Es gibt eine zweite Tür, die Operator Library unter /api/mcp/library, die einen Schlüssel braucht. Sie ist nicht die öffentliche Fläche. robots.txt sperrt /api/mcp und lässt /mcp zu.

Auf Old Hand sagen die öffentlichen Seiten — deutsch und englisch — dasselbe: öffentliches MCP, keine Authentifizierung, nur lesend. robots.txt sperrt /api/. Das Gespräch bleibt beim Agenten, den der Besucher gewählt hat.

Engawa ist ein Werkzeugkasten, der diese Flächen schneiden kann. Es ist ein Fall, nicht der Gegenstand. Ein anderes Projekt, tsuru0805/engawa-mcp, verwendet dasselbe japanische Wort für eine lokale Python-Vorhalle. Derselbe Name. Ein anderer Gegenstand.

Der Werkzeugkasten kann die Tür schneiden.

Die interessante Frage ist, was die Site dahinterlegt.

Gleichwertigkeit ist eine Hausregel

Die zwei Sites führen eine Hausregel.

Darum.

Ein CMS hält mehr als die öffentliche Seite. Es hält Entwürfe. Es hält Notizen, die nie veröffentlicht wurden. Eine als Entwurf markierte Seite steht nicht auf der öffentlichen Site. Wer als Fremder im Browser ankommt, sieht sie nicht.

Wer einem Agenten die Datenbank gibt, hat ihm den Entwurf gegeben.

Die Hausregel sagt nein.

Das öffentliche Agentenkorpus entspricht dem, was ein anonymer menschlicher Besucher schon sieht. Das README von Engawa schreibt es als Produktregel: "Engawa's public corpus must match what anonymous human visitors see—not merely what exists in a CMS or database."

Das ist eine Hausregel. Es ist keine IETF-Tatsache. Es ist keine W3C-Tatsache. Es ist keine IAB-Tatsache.

Die nächsten Analogien sind nicht derselbe Gegenstand.

RFC 9309 sagt, wie Crawler sich verhalten sollen, wenn sie Ressourcen anfragen. Es definiert kein öffentliches Agentenkorpus.

Die Cloaking-Politik von Google betrifft eine andere Spaltung: einer Suchmaschine und einem Menschen wesentlich anderen Inhalt zu zeigen, um das Ranking zu beeinflussen. Das ist nicht dasselbe, wie absichtlich eine für Agenten lesbare Darstellung derselben öffentlichen Information freizugeben.

WCAG 2.2 hat eine Regel für eine konforme Alternativversion. Eine zweite Fassung muss bestimmte Anforderungen der Barrierefreiheit erfüllen und gleichwertige Information liefern. Das ist Barrierefreiheit. Es ist keine Regel für ein Agentenkorpus.

Cloudflare Content Signals lassen eine Site Vorlieben zu Suche, Training und anderer KI-Nutzung ausdrücken. Diese Signale sind Markierungen einer Politik. Sie definieren nicht, welche Seiten ein Agent als seine öffentliche Menge behandeln darf.

Verlagsorganisationen bewegen sich in eine andere Richtung.

Das IAB Tech Lab hat die CoMP-Spezifikation im April 2026 abgeschlossen. CoMP ist selbst kein Bot-Blocker, kein Lizenzsystem und kein Marktplatz. Es ist ein Protokollrahmen für die Kommunikation mit autorisierten KI-Systemen. Der dokumentierte Ablauf nimmt an: fehlt eine Vereinbarung, kann der Inhaber die Anfrage ablehnen und den Bot zur Lizenzierung weisen.

IAB Australia hat im Juli 2026 das weitere Prinzip klar gesetzt: Inhalte unter Bedingungen, nicht von selbst. Die eigene Entscheidungsmatrix unterscheidet noch Suche, Trainingscrawler, KI-Agenten im Einsatz und operative Bots, statt jede maschinelle Anfrage gleich zu behandeln.

Es gibt also keine einzige Branchenregel, die sagt, öffentliches HTML sei automatisch ein Agentenkorpus.

Unter Verlagen und Verlegerverbänden zeichnet sich ein anderes Prinzip ab: Zugang unter Bedingungen, nicht bloss weil die Seite öffentlich ist.

Retrieval-augmented Generation, kurz RAG, ist eine Form derselben zugrunde liegenden Bewegung wie Grounding: relevantes Material holen, dann die Antwort daraus erzeugen. Die Bedingungen der New York Times, wirksam ab dem 20. Januar 2026, beschränken KI-Training, Grounding und RAG ohne schriftliche Zustimmung.

Das ist eine vertragliche Position, keine Protokollregel.

Und diese Unterscheidung zählt.

robots.txt ist keine Lizenz. llms.txt ist keine Lizenz. MCP ist keine Lizenz.

Jeder Gegenstand beantwortet eine andere Frage.

Erreichbar ist nicht vorgesehen

Ein Abruf ist keine Bestimmung.

Die Webseite kann erreichbar sein. Die Karte kann das Finden erleichtern. Die Tür kann das Fragen erleichtern.

Keine dieser Tatsachen gibt für sich ein Recht.

Die Wand ist die gewöhnliche Weboberfläche. Die Notiz drückt Vorlieben gegenüber Crawlern aus. Die Karte zeigt auf nützliches Material. Die Tür ist eine Fläche, die die Site absichtlich freigibt.

Auf zwei Sites ist die Tür geschnitten. Was hindurchkommt, ist, was ein Fremder schon sieht. Das ist eine Wahl, die diese Sites getroffen haben. Es ist kein Recht, das der Agent mitgebracht hat.

Eine Site kann entscheiden, was sie freigibt, über welche Fläche und unter welchen Bedingungen.

Der Werkzeugkasten kann die Tür schneiden. Diese Entscheidung kann er nicht treffen.

Wer hat den Leser benannt?

Die Site.

Oder sie hat es nicht.

Quellen

Bibliothek

Bestritten, und deshalb nicht als Tatsache verwendet: llms.txt als IETF- oder W3C-Standard, oder als Crawl- oder Trainingsverbot; jede Übernahmequote ausser der oben zitierten Messung des HTTP Archive vom Juli 2025; eine webweite Zählung von llms.txt für 2026; Cloudflare, das von sich aus alle KI-Bots sperrt; ChatGPT-User, der robots.txt stets achtet; Google-Extended, das AI Overviews stoppt; jede Behauptung, die vier öffentlichen MCP-Beispiele dieses Bandes seien der ganze Markt; tsuru0805/engawa-mcp als dieser Werkzeugkasten; die Engawa-Regel zum öffentlichen Korpus als Branchenstandard; Agenten, denen jedes anonyme HTML-Korpus zustünde; Marktanteile oder Verkehrsprozente von Bots; Google, das llms.txt nutzt oder ignoriert.

Dieser Band ist keine Rechtsberatung.

Die bestellte Tür

Wesentliche Punkte

Fragen, die dieses Volume beantwortet

Die Wand ist der Normalfall

Eine Karte ist kein Schloss

Eine Tür, die man nennen kann

Gleichwertigkeit ist eine Hausregel

Erreichbar ist nicht vorgesehen

Quellen

Der normale Abruf

Die Karte

Die Tür

Veröffentlichung und Lizenz

Bibliothek