OpenAI will ein gemeinsames robots.txt-Signal gegen KI-Training beachten
Serguey Asael Shinder2 Min. LesezeitWer seine Seiten aus dem Training generativer KI heraushalten will, schreibt bisher für jeden bekannten Crawler einen eigenen robots.txt-Block. OpenAI kündigte am 30. Oktober an, künftig zusätzlich ein gemeinsames Signal zu respektieren, das mehrere KI-Anbieter zugleich lesen sollen.
Der Beitrag des Unternehmens erklärt die Technik kaum und verweist auf einen am selben Tag bei der IETF eingereichten Internet-Draft, „Machine-Readable Training Preference Signal“ (draft-kelley-aipref-training-preference-signal-00). Als Autor ist ein Mitarbeiter von Anthropic angegeben. Der Entwurf definiert ein Policy-Token, __usage_ai-training, das in die User-Agent-Zeile einer gewöhnlichen robots.txt-Gruppe kommt. Eine Gruppe mit diesem Token und Disallow: / drückt eine Präferenz gegen Training auf der gesamten Website aus; mit einer Allow-Zeile lassen sich Pfade ausnehmen, etwa ein Pressebereich, dessen Inhalte genutzt werden dürfen.
Der Entwurf fügt der robots.txt-Grammatik bewusst nichts hinzu. Pfadabgleich und Vorrang der längsten Übereinstimmung bleiben wie in RFC 9309, vorhandene Parser sehen also nur eine Gruppe für einen unbekannten User-Agent und ignorieren sie. Zwei Regeln sind praktisch wichtig: Eine Platzhaltergruppe (User-Agent: *) gilt nicht als Aussage zum Training, und das Token ist von den Crawl-Regeln unabhängig; wer einem Crawler das Abrufen erlaubt, stimmt damit nicht dem Training zu. Die Definition von „KI-Training“ übernimmt der Entwurf aus dem Vokabular-Draft der IETF-Arbeitsgruppe AI Preferences: das Verändern der gelernten Parameter eines generativen Modells, ohne Modelle, die nur klassifizieren, ranken oder bewerten.
OpenAI will das Signal „in den kommenden Monaten“ umsetzen, dann Details veröffentlichen, und die bestehenden Regeln pro Crawler gelten weiter.
Was das bedeutet
Die Gruppe kostet einen Betreiber vier Zeilen und stört keinen Crawler, der sie nicht kennt. Was sie bringt, hängt davon ab, wer sie liest: Heute ist das die erklärte Absicht eines Unternehmens ohne Termin, dazu ein Entwurf ohne Status im IETF-Verfahren. Die vorhandenen Regeln pro Crawler sollten bleiben; das gemeinsame Token ist eine Ergänzung, kein Ersatz, bis Anbieter bestätigen, dass sie es tatsächlich prüfen.