KI-Training per robots.txt steuern: Was das neue gemeinsame Signal für Deine Website bedeutet

Wer eine Website betreibt, konnte dem KI-Training bisher nur Anbieter für Anbieter widersprechen: eine Regel für Google, eine für OpenAI, eine für weitere Crawler. Am 30. Oktober 2026 haben Google, Microsoft und OpenAI angekündigt, ein gemeinsames Signal in der robots.txt zu unterstützen. Laut dem Google Search Central Blog vom 30. Oktober 2026 sollen Websites damit ihre Präferenz zum KI-Training über mehrere Anbieter hinweg in einem Schritt festlegen können.

Für Betriebe im Mittelstand ist das keine reine Technikfrage. Es geht um eine Abwägung: Wollt Ihr, dass Eure Inhalte in KI-Antworten auftauchen und Euch neue Kunden bringen, oder wollt Ihr verhindern, dass Eure Fachtexte zum Training fremder Modelle genutzt werden? Dieser Beitrag erklärt das Signal, die Pläne der Anbieter und gibt Dir eine Checkliste für die Entscheidung.

Was das neue Signal ist

Grundlage ist ein Entwurf aus der Arbeitsgruppe AI Preferences der IETF, der Organisation, die viele Internetstandards entwickelt. Der Internet-Draft vom 30. Oktober 2026 stammt von Kevin Kelley (Anthropic) und ist ausdrücklich ein Arbeitsstand, noch kein fertiger Standard.

Der Entwurf führt keine neuen Befehle ein. Statt eines Crawler-Namens steht in der Zeile User-Agent ein sogenanntes Policy-Token. Das Beispiel aus dem Entwurf sieht so aus:

Das bedeutet: Für die gesamte Website besteht eine Präferenz gegen KI-Training, für den Bereich /press-kit/ dagegen eine Präferenz dafür. Drei Details sind wichtig:

• Kein Ersatz für Crawler-Regeln: Das Token sagt nichts darüber, ob eine Seite abgerufen werden darf. Wer das Crawlen begrenzen will, braucht weiterhin Regeln für die einzelnen Crawler.
• Der Platzhalter zählt nicht: Eine Gruppe mit User-Agent: * gilt laut Entwurf nicht als Präferenz zum Training. Wer nichts mit dem neuen Token einträgt, hat keine Präferenz geäußert.
• Spezifisch schlägt allgemein: Anbieter dürfen eigene Regeln, etwa für Google-Extended, als genauer werten als das gemeinsame Token.

Wie Google, Microsoft und OpenAI das umsetzen wollen

Google: Wenn eine Website das Training über das gemeinsame Token ausschließt und keine eigene Regel für Google-Extended hat, will Google das so behandeln, als wäre Google-Extended gesperrt. Google-Extended ist die Steuerung, die Google seit 2023 für das KI-Training anbietet. Laut Google bleiben Websites, die Google-Extended ausdrücklich erlauben, für Antworten mit Quellenangabe in den Gemini Apps berechtigt. Die Unterstützung ist für 2027 geplant. Google verweist dabei auf den Verhaltenskodex für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck unter dem EU AI Act, der die robots.txt als wichtigen Weg für maschinenlesbare Präferenzen anerkennt.

Microsoft: Im Bing-Blog vom 30. Oktober 2026 trennt Microsoft zwei Dinge: Training und Grounding, also die Nutzung Eurer Inhalte als Quelle für eine generierte Antwort. Training lässt sich über das gemeinsame Token in der robots.txt oder einzeln pro Seite steuern. Grounding gibt es nur auf Seitenebene, per Meta-Tag oder HTTP-Header. Ab dem 1. Februar 2027 berücksichtigt Microsoft die neuen Angaben beim Crawlen. Nach dem 1. März 2027 werden die alten Angaben NoArchive und NoCache nicht mehr als Präferenz für Training oder Grounding gelesen. Die Sichtbarkeit in den klassischen Suchergebnissen von Bing ändert sich laut Microsoft dadurch nicht.

OpenAI: OpenAI hat am selben Tag angekündigt, das Signal in den kommenden Monaten zu unterstützen. Die bisherigen Regeln für die eigenen Crawler bleiben bestehen.

Training und Sichtbarkeit sind zwei verschiedene Fragen

Viele Betriebe werfen beides zusammen. Dabei geht es um zwei getrennte Entscheidungen:

• Training: Dürfen Eure Texte genutzt werden, um künftige KI-Modelle zu verbessern? Ein Widerspruch hier verändert laut Microsoft nicht Eure Sichtbarkeit in der klassischen Suche.
• Sichtbarkeit in KI-Antworten: Dürfen Assistenten Eure Seiten aufrufen, zitieren und verlinken, wenn jemand nach Eurer Leistung fragt? Genau das wollen die meisten Betriebe, die neue Kunden gewinnen möchten.

Die Tücke steckt im Detail: Bei Google hängt die Quellenangabe in den Gemini Apps an Google-Extended. Wer pauschal per gemeinsamem Token widerspricht und keine eigene Regel für Google-Extended setzt, verzichtet damit nach den Plänen von Google auch auf diese Sichtbarkeit. Wer bei Microsoft das Grounding sperrt, muss laut Microsoft mit deutlich weniger Sichtbarkeit in KI-Erlebnissen rechnen.

Drei typische Haltungen für Betriebe

1. Sichtbarkeit zuerst: Für Handwerk, Dienstleister und Händler, die über die Website Anfragen gewinnen, ist Sichtbarkeit meist wichtiger als der Schutz vor Training. Hier reicht es oft, nichts zu sperren oder die gewünschte Haltung ausdrücklich festzuhalten.
2. Selektiv: Allgemeine Seiten, Pressebereich und Leistungsseiten bleiben offen. Bereiche mit wertvollem Fachwissen, etwa ausführliche Anleitungen oder Downloads, werden per Pfad vom Training ausgenommen.
3. Weitgehend gesperrt: Für Betriebe, deren Geschäft auf exklusiven Inhalten beruht, etwa Fachinformationen gegen Bezahlung. Hier ist die Abwägung mit der Sichtbarkeit besonders wichtig.

Eine richtige Antwort für alle gibt es nicht. Wichtig ist, dass die Entscheidung bewusst getroffen wird und nicht zufällig durch eine Vorlage im Content-Management-System entsteht.

Checkliste: So gehst Du vor

• Ruf Eure aktuelle robots.txt unter Eurer Domain mit /robots.txt auf und schau, welche KI-Crawler dort schon geregelt sind.
• Klärt, wer die Datei pflegt: Eure Agentur, Euer Webdienstleister oder das CMS selbst.
• Legt fest, welche Inhalte Euer eigentliches Kapital sind und welche gefunden werden sollen.
• Entscheidet Training und Sichtbarkeit getrennt und haltet die Entscheidung schriftlich fest.
• Prüft, ob Ihr NoArchive oder NoCache nutzt. Dann müsst Ihr für Bing bis zum 1. März 2027 handeln.
• Tragt Euch die Termine ein: Bing ab 1. Februar 2027, Google im Laufe von 2027, OpenAI in den kommenden Monaten.

Wie KI-Anbieter mit Euren Daten umgehen, ist auch bei der eigenen Nutzung ein Thema. Dazu passt unser Beitrag zur Speicherung von Anfragen in der Gemini API. Den rechtlichen Rahmen beschreiben wir im Beitrag zum EU AI Act für Betreiber.

Wenn Du KI-Themen im Betrieb ganzheitlich angehen willst, hilft Dir unser AI Readiness Check für den Mittelstand als Startpunkt. Vertiefung bietet das Whitepaper AI Readiness 2026.

Fazit

Mit dem gemeinsamen Token __usage_ai-training könnt Ihr dem KI-Training mehrerer Anbieter künftig in einem Schritt widersprechen oder zustimmen. Google, Microsoft und OpenAI haben am 30. Oktober 2026 ihre Unterstützung angekündigt, wirksam wird sie schrittweise ab 2027. Entscheidend ist, Training und Sichtbarkeit in KI-Antworten getrennt zu bewerten. Wer pauschal sperrt, kann Sichtbarkeit verlieren, die gerade für die Neukundengewinnung wertvoll ist.

Du willst Eure KI-Strategie so aufstellen, dass Eure Inhalte geschützt sind, wo es nötig ist, und gefunden werden, wo es zählt? Buch Dir ein kostenloses Erstgespräch. Wir helfen Dir bei der Entscheidung, die Umsetzung in der Website übernimmt Euer Webdienstleister.