Wie trenne ich ChatGPT Search und OpenAI-Training bei der Crawler-Steuerung?
OAI-SearchBot und GPTBot lassen sich unabhängig steuern; ChatGPT-User dient einem anderen, nutzerinitiierten Zweck.
Die kurze Antwort
Erlaube OAI-SearchBot, wenn öffentlich zugängliche Seiten für ChatGPT Search abrufbar sein sollen. Sperre GPTBot separat, wenn du die dokumentierte Nutzung für das Training von OpenAI-Grundmodellen ablehnst. ChatGPT-User ist kein automatischer Suchcrawler, sondern dient bestimmten nutzerinitiierten Abrufen. Vertrauliche Inhalte schützt du unabhängig davon serverseitig.
OAI-SearchBot ist OpenAIs automatischer Crawler für ChatGPT-Suchfunktionen. GPTBot crawlt Inhalte, die für das Training generativer OpenAI-Grundmodelle verwendet werden können. ChatGPT-User ruft Seiten bei bestimmten Nutzeraktionen ab und ist kein automatischer Suchcrawler.
Die Namen stehen für unterschiedliche Zwecke. Alle Angaben entsprechen dem dokumentierten Stand vom 17. August 2026.
Suche erlauben und Training ablehnen
OpenAI dokumentiert OAI-SearchBot und GPTBot als unabhängige Steuerungen. Eine ausdrückliche Trennung kann so aussehen:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
Übernimm das Beispiel nicht blind. Eine spezifische User-Agent-Gruppe erbt nicht automatisch alle Pfadbeschränkungen aus User-agent: *. Wiederhole im spezifischen Abschnitt alle weiterhin notwendigen Sperren.
Was eine OAI-SearchBot-Regel bedeutet
Wenn du OAI-SearchBot sperrst, soll deine Website nach OpenAIs Dokumentation nicht in Antworten von ChatGPT Search erscheinen. Sie kann dennoch als navigativer Link auftauchen. Ein Ausschluss ist deshalb keine Zusage, dass die Domain unter keinen Umständen genannt oder verlinkt wird.
Für einen erfolgreichen Abruf müssen auch CDN und Firewall die von OpenAI veröffentlichten IP-Bereiche zulassen. Ein User-Agent-String allein ist kein Echtheitsnachweis.
GPTBot betrifft die dokumentierte Trainingsnutzung
Ein Disallow für GPTBot signalisiert laut OpenAI, dass Inhalte der Website nicht für das Training generativer Grundmodelle verwendet werden sollen. Diese Regel sperrt OAI-SearchBot nicht. Sie sperrt auch keine Browser, Menschen oder unbekannten Drittanbieter.
ChatGPT-User gehört nicht in dieselbe Zweiteilung
ChatGPT-User wird bei bestimmten Nutzeraktionen in ChatGPT, Custom GPTs und Actions verwendet. OpenAI beschreibt ihn nicht als automatischen Crawler. Weil eine Person den Abruf auslöst, können robots.txt-Regeln laut OpenAI nicht gleich anwendbar sein.
ChatGPT-User entscheidet nicht über die Aufnahme in ChatGPT Search und ist kein Trainings-Token. Zuverlässige Einschränkung erfolgt durch tatsächliche serverseitige Zugriffsmassnahmen.
Regeln und Infrastruktur gemeinsam prüfen
Prüfe vor neuen Gruppen die gesamte robots.txt. Dokumentiere gewünschte Such- und Trainingsnutzung getrennt. Kontrolliere CDN und Firewall gegen die offiziellen IP-Listen und ordne Protokolleinträge OpenAI nur zu, wenn User-Agent und veröffentlichter IP-Bereich zusammenpassen.
Eine Freigabe garantiert weder Abruf noch Darstellung oder Quellenangabe.
Quellen und Vertiefung
- Overview of OpenAI Crawlers, OpenAIZwecke und Steuerung von OAI-SearchBot, GPTBot und ChatGPT-User.
- OAI-SearchBot IP ranges, OpenAIVeröffentlichte IP-Bereiche des Suchcrawlers.
- GPTBot IP ranges, OpenAIVeröffentlichte IP-Bereiche des Trainingscrawlers.
- ChatGPT-User IP ranges, OpenAIVeröffentlichte IP-Bereiche für Nutzerabrufe.
- Robots Exclusion Protocol, IETFrobots.txt-Gruppen und Crawler-Regeln.