Such- und KI-Plattformen kontrolliert betreiben
Suche, generative Antworten, Modelltraining und nutzerinitiierte Abrufe sind unterschiedliche Kanäle. Führe Crawler, Regeln, Quellenstand und Messung je Plattform getrennt.
Die kurze Antwort
Lege je Plattform und Verwendungszweck fest, was du erlauben oder beschränken willst. Dokumentiere Crawler oder Produkttoken, betroffene Pfade, offizielle Quelle, Prüfdatum und Messmethode. Trenne Googlebot von Google-Extended sowie OAI-SearchBot von GPTBot und ChatGPT-User. Behandle llms.txt und Markdown nur als überprüfbare Experimente.
«Für KI sichtbar sein» ist kein einzelner technischer Zustand. Eine Seite kann von einer Suchmaschine indexiert, in einer generativen Antwort als Quelle verwendet, von einem Trainingscrawler besucht oder auf direkte Nutzeranfrage abgerufen werden. Diese Vorgänge haben unterschiedliche Zwecke und Kontrollen.
Plattformen veröffentlichen eigene Bot-Namen, Regeln und Einschränkungen. Diese Angaben können sich ändern. Übernimm deshalb keine pauschale robots.txt-Vorlage. Lege zuerst die gewünschte Nutzung fest, prüfe die aktuelle Primärquelle und dokumentiere den Entscheid.
Keine Einstellung garantiert Indexierung, Platzierung, Quellenangabe oder Erwähnung.
Vier Nutzungsebenen auseinanderhalten
| Ebene | Zweck | Typische Kontrolle |
|---|---|---|
| Websuche | Seiten entdecken, indexieren und anzeigen | Crawler-Zugriff, Indexierungs- und Snippet-Regeln |
| Generative Suche | Inhalte für eine Antwort mit Links verwenden | plattformabhängige Suchkontrollen |
| Modelltraining | Inhalte für zukünftige Modelle crawlen | Trainingscrawler oder Produkttoken |
| Nutzerinitiierter Abruf | Seite auf ausdrückliche Aktion laden | User-Agent und serverseitiger Zugriff |
Die Namen ähneln sich teilweise, ihre Wirkung ist aber nicht austauschbar.
Google Search und Gemini-Nutzung trennen
Google erklärt, dass die normalen SEO-Anforderungen auch für AI Overviews und AI Mode gelten. Für unterstützende Links muss eine Seite indexiert und mit einem Snippet darstellbar sein. Es gibt kein spezielles KI-Schema und keine erforderliche Zusatzdatei.
Googlebot betrifft Search und die zugehörigen generativen Suchfunktionen. Google-Extended ist ein separater Produkttoken in robots.txt, aber kein eigener HTTP-User-Agent. Er steuert bestimmte Trainings- und Grounding-Nutzungen für Gemini; laut Google beeinflusst seine Einschränkung weder Aufnahme noch Ranking in Search.
Stand vom 17. August 2026: Google führt in Search Console zusätzlich eine Property-Einstellung für generative Search-Funktionen sowie einen eigenen Leistungsbericht schrittweise ein. Verfügbarkeit und ausgewiesene Metriken müssen je Property geprüft werden.
OpenAI-Crawler nach Zweck führen
| User-Agent | Dokumentierter Zweck |
|---|---|
OAI-SearchBot |
Websites für ChatGPT Search auffinden und darstellen |
GPTBot |
Inhalte crawlen, die für Modelltraining verwendet werden können |
ChatGPT-User |
Seiten bei bestimmten Nutzeraktionen abrufen |
OpenAI dokumentiert OAI-SearchBot und GPTBot als unabhängig. Du kannst Suche erlauben und Training ablehnen. ChatGPT-User ist kein automatischer Suchcrawler; robots.txt kann bei nutzerinitiierten Abrufen anders behandelt werden. CDN und Firewall müssen erlaubte Zugriffe ebenfalls durchlassen. Ein User-Agent-String allein beweist nicht, dass eine Anfrage tatsächlich von OpenAI stammt.
Bing und weitere Plattformen nicht ableiten
Führe Bing als eigenen Kanal. Prüfe Bingbot, Bing Webmaster Tools, Sitemap und dokumentierte Fehler separat. IndexNow kann teilnehmende Suchmaschinen über hinzugefügte, geänderte oder gelöschte URLs informieren. Eine erfolgreiche Meldung bestätigt nur den Empfang, nicht Crawling, Indexierung oder Darstellung.
Wenn ein Anbieter neue Crawler, generative Funktionen oder Berichte dokumentiert, ergänze eine neue Zeile im Plattformregister. Übertrage nicht ungeprüft die Bedeutung einer Google- oder OpenAI-Regel.
Crawler, Referrals und Wirkung getrennt messen
Server- oder CDN-Logs zeigen Abrufe, Statuscodes und User-Agents. Verifiziere Plattformcrawler mit veröffentlichten IP- oder Prüfmethoden. Webanalyse zeigt nach einem Klick Referrer, Einstiegsseiten und geschäftliche Folgehandlungen. Plattformberichte zeigen nur die vom Anbieter definierten Metriken.
Ein Crawl beweist keine Quellenangabe. Ein fehlender Referrer beweist nicht, dass ein Inhalt nie verwendet wurde. Erfinde keine «KI-Rankings», wenn eine Plattform keine entsprechende Kennzahl bereitstellt.
llms.txt und Markdown als Experiment behandeln
llms.txt ist am 17. August 2026 ein Community-Vorschlag und kein IETF- oder W3C-Webstandard. Google erklärt ausdrücklich, dass die Datei, besonderes KI-Markup oder Markdown die Search-Sichtbarkeit weder verbessern noch verschlechtern und für AI Overviews oder AI Mode nicht erforderlich sind.
OpenAI stellt für eigene Entwicklerdokumentation Markdown-Fassungen bereit, dokumentiert sie aber nicht als Voraussetzung für ChatGPT Search. Wenn du das Format für einen bekannten Verbraucher testest, müssen HTML und Markdown aus derselben Inhaltsquelle stammen. Definiere Zweck, beobachtbaren Abruf, Pflegeverantwortung und Abbruchkriterium. Das sichtbare HTML bleibt die primäre Publikation.
Quellen und Vertiefung
- AI features and your website, Google Search CentralVoraussetzungen, Kontrollen und Messung generativer Search-Funktionen.
- Generative KI-Funktionen optimieren, Google Search CentralKeine besonderen KI-Dateien oder Markups erforderlich.
- Google-Crawler und Google-Extended, GoogleGooglebot und Google-Extended.
- Overview of OpenAI Crawlers, OpenAIOAI-SearchBot, GPTBot und ChatGPT-User.
- Welche Crawler verwendet Bing?, Bing Webmaster ToolsBing-Crawler und ihre Zwecke.
- IndexNow-Dokumentation, IndexNowMeldung geänderter URLs und Grenzen.
- Robots Exclusion Protocol, IETFrobots.txt als Crawler-Präferenz, nicht Zugriffsschutz.
- llms.txt proposal, llmstxt.orgCommunity-Vorschlag, kein Webstandard.