# Such- und KI-Plattformen kontrolliert betreiben

Suche, generative Antworten, Modelltraining und nutzerinitiierte Abrufe sind unterschiedliche Kanäle. Führe Crawler, Regeln, Quellenstand und Messung je Plattform getrennt.

## Die kurze Antwort

Lege je Plattform und Verwendungszweck fest, was du erlauben oder beschränken willst. Dokumentiere Crawler oder Produkttoken, betroffene Pfade, offizielle Quelle, Prüfdatum und Messmethode. Trenne Googlebot von Google-Extended sowie OAI-SearchBot von GPTBot und ChatGPT-User. Behandle llms.txt und Markdown nur als überprüfbare Experimente.

«Für KI sichtbar sein» ist kein einzelner technischer Zustand. Eine Seite kann von einer Suchmaschine indexiert, in einer generativen Antwort als Quelle verwendet, von einem Trainingscrawler besucht oder auf direkte Nutzeranfrage abgerufen werden. Diese Vorgänge haben unterschiedliche Zwecke und Kontrollen.

Plattformen veröffentlichen eigene Bot-Namen, Regeln und Einschränkungen. Diese Angaben können sich ändern. Übernimm deshalb keine pauschale robots.txt-Vorlage. Lege zuerst die gewünschte Nutzung fest, prüfe die aktuelle Primärquelle und dokumentiere den Entscheid.

Keine Einstellung garantiert Indexierung, Platzierung, Quellenangabe oder Erwähnung.

## Vier Nutzungsebenen auseinanderhalten

| Ebene | Zweck | Typische Kontrolle |
|---|---|---|
| Websuche | Seiten entdecken, indexieren und anzeigen | Crawler-Zugriff, Indexierungs- und Snippet-Regeln |
| Generative Suche | Inhalte für eine Antwort mit Links verwenden | plattformabhängige Suchkontrollen |
| Modelltraining | Inhalte für zukünftige Modelle crawlen | Trainingscrawler oder Produkttoken |
| Nutzerinitiierter Abruf | Seite auf ausdrückliche Aktion laden | User-Agent und serverseitiger Zugriff |

Die Namen ähneln sich teilweise, ihre Wirkung ist aber nicht austauschbar.

## Google Search und Gemini-Nutzung trennen

Google erklärt, dass die normalen SEO-Anforderungen auch für AI Overviews und AI Mode gelten. Für unterstützende Links muss eine Seite indexiert und mit einem Snippet darstellbar sein. Es gibt kein spezielles KI-Schema und keine erforderliche Zusatzdatei.

`Googlebot` betrifft Search und die zugehörigen generativen Suchfunktionen. `Google-Extended` ist ein separater Produkttoken in `robots.txt`, aber kein eigener HTTP-User-Agent. Er steuert bestimmte Trainings- und Grounding-Nutzungen für Gemini; laut Google beeinflusst seine Einschränkung weder Aufnahme noch Ranking in Search.

**Stand vom 17. August 2026:** Google führt in Search Console zusätzlich eine Property-Einstellung für generative Search-Funktionen sowie einen eigenen Leistungsbericht schrittweise ein. Verfügbarkeit und ausgewiesene Metriken müssen je Property geprüft werden.

## OpenAI-Crawler nach Zweck führen

| User-Agent | Dokumentierter Zweck |
|---|---|
| `OAI-SearchBot` | Websites für ChatGPT Search auffinden und darstellen |
| `GPTBot` | Inhalte crawlen, die für Modelltraining verwendet werden können |
| `ChatGPT-User` | Seiten bei bestimmten Nutzeraktionen abrufen |

OpenAI dokumentiert OAI-SearchBot und GPTBot als unabhängig. Du kannst Suche erlauben und Training ablehnen. `ChatGPT-User` ist kein automatischer Suchcrawler; robots.txt kann bei nutzerinitiierten Abrufen anders behandelt werden. CDN und Firewall müssen erlaubte Zugriffe ebenfalls durchlassen. Ein User-Agent-String allein beweist nicht, dass eine Anfrage tatsächlich von OpenAI stammt.

## Bing und weitere Plattformen nicht ableiten

Führe Bing als eigenen Kanal. Prüfe Bingbot, Bing Webmaster Tools, Sitemap und dokumentierte Fehler separat. IndexNow kann teilnehmende Suchmaschinen über hinzugefügte, geänderte oder gelöschte URLs informieren. Eine erfolgreiche Meldung bestätigt nur den Empfang, nicht Crawling, Indexierung oder Darstellung.

Wenn ein Anbieter neue Crawler, generative Funktionen oder Berichte dokumentiert, ergänze eine neue Zeile im Plattformregister. Übertrage nicht ungeprüft die Bedeutung einer Google- oder OpenAI-Regel.

## Crawler, Referrals und Wirkung getrennt messen

Server- oder CDN-Logs zeigen Abrufe, Statuscodes und User-Agents. Verifiziere Plattformcrawler mit veröffentlichten IP- oder Prüfmethoden. Webanalyse zeigt nach einem Klick Referrer, Einstiegsseiten und geschäftliche Folgehandlungen. Plattformberichte zeigen nur die vom Anbieter definierten Metriken.

Ein Crawl beweist keine Quellenangabe. Ein fehlender Referrer beweist nicht, dass ein Inhalt nie verwendet wurde. Erfinde keine «KI-Rankings», wenn eine Plattform keine entsprechende Kennzahl bereitstellt.

## llms.txt und Markdown als Experiment behandeln

`llms.txt` ist am 17. August 2026 ein Community-Vorschlag und kein IETF- oder W3C-Webstandard. Google erklärt ausdrücklich, dass die Datei, besonderes KI-Markup oder Markdown die Search-Sichtbarkeit weder verbessern noch verschlechtern und für AI Overviews oder AI Mode nicht erforderlich sind.

OpenAI stellt für eigene Entwicklerdokumentation Markdown-Fassungen bereit, dokumentiert sie aber nicht als Voraussetzung für ChatGPT Search. Wenn du das Format für einen bekannten Verbraucher testest, müssen HTML und Markdown aus derselben Inhaltsquelle stammen. Definiere Zweck, beobachtbaren Abruf, Pflegeverantwortung und Abbruchkriterium. Das sichtbare HTML bleibt die primäre Publikation.

## Dein nächster Arbeitsschritt

Führe ein Plattformregister mit Plattform und Produkt, exaktem Crawler oder Produkttoken, dokumentiertem Zweck, gewünschter Richtlinie, technischer Regel, betroffenen Pfaden, unabhängigen Folgen, offizieller Quelle, Quellenprüfdatum, Log-Verifikation, Plattformbericht, Analytics-Messung, verantwortlicher Person, nächstem Prüfanlass und Status. Ergänze neue Anbieterfunktionen als neue Zeile statt alte Entscheidungen umzudeuten.

## Quellen und Vertiefung

- [Quelle bei Google](https://developers.google.com/search/docs/appearance/ai-features) — Google Search Central: Voraussetzungen, Kontrollen und Messung generativer Search-Funktionen.
- [Quelle bei Google](https://developers.google.com/search/docs/fundamentals/ai-optimization-guide) — Google Search Central: Keine besonderen KI-Dateien oder Markups erforderlich.
- [Quelle bei Google](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers) — Google: Googlebot und Google-Extended.
- [Quelle bei OpenAI](https://developers.openai.com/api/docs/bots) — OpenAI: OAI-SearchBot, GPTBot und ChatGPT-User.
- [Quelle bei Bing](https://www.bing.com/webmasters/help/which-crawlers-does-bing-use-8c184ec0) — Bing Webmaster Tools: Bing-Crawler und ihre Zwecke.
- [Dokumentation öffnen](https://www.indexnow.org/documentation) — IndexNow: Meldung geänderter URLs und Grenzen.
- [RFC 9309](https://www.rfc-editor.org/rfc/rfc9309) — IETF: robots.txt als Crawler-Präferenz, nicht Zugriffsschutz.
- [Vorschlag öffnen](https://llmstxt.org/) — llmstxt.org: Community-Vorschlag, kein Webstandard.

## Hinweis

Die Plattformangaben geben den dokumentierten Stand vom 17. August 2026 wieder. Plattformen können Crawler, Funktionen und Berichte ändern. Keine Freigabe garantiert Indexierung, Ranking oder eine Quellenangabe.