Wie trenne ich Google-Suche, KI-Funktionen und Training bei der Crawler-Steuerung?
Googlebot, eine Search-Console-Einstellung für generative Search-Funktionen und Google-Extended betreffen unterschiedliche Entscheidungen.
Die kurze Antwort
Googlebot steuert das Crawling für die gesamte Google-Suche einschliesslich AI Overviews und AI Mode. Diese Suchfunktionen lassen sich nicht mit einem separaten robots.txt-Crawler von klassischen Ergebnissen trennen. Nutze die Search-Console-Property-Einstellung für generative Search-Funktionen, sofern sie verfügbar ist. Google-Extended steuert separat bestimmte Gemini-Trainings- und Grounding-Nutzungen und beeinflusst laut Google Search nicht.
Ein Crawler ruft URLs automatisiert ab. Ein User-Agent-Token ist sein Name in robots.txt. Training bezeichnet hier die Nutzung von Inhalten für zukünftige Modellgenerationen. Grounding bedeutet, dass ein Modell bei einer Anfrage Informationen aus einer Suchquelle erhält.
Bei Google sind klassische Suche, generative Search-Funktionen und Modellnutzung nicht drei getrennte Crawler. Du brauchst deshalb unterschiedliche Kontrollebenen. Alle Angaben entsprechen dem Stand vom 17. August 2026.
Googlebot steuert die gesamte Google-Suche
Regeln für Googlebot betreffen klassische Suchergebnisse und Funktionen innerhalb von Google Search, darunter AI Overviews und AI Mode. Du kannst nicht per robots.txt Googlebot für klassische Ergebnisse zulassen und denselben Crawler nur für generative Suchfunktionen sperren.
Auch nosnippet, max-snippet und data-nosnippet sind keine saubere Trennung. Diese Vorschaukontrollen wirken auf mehrere Suchdarstellungen. nosnippet verhindert zudem, dass der Seiteninhalt als direkte Eingabe für AI Overviews und AI Mode verwendet wird.
Generative Search-Funktionen in Search Console steuern
Google führt eine Property-Einstellung unter «Einstellungen > Generative KI-Funktionen der Google Suche» schrittweise ein. Damit kann eine Website für AI Overviews, AI Mode und dokumentierte generative Discover-Funktionen ein- oder ausgeschlossen werden.
Die Einstellung ist kein robots.txt-Befehl, steht während der Einführung nicht jeder Property zur Verfügung und betrifft laut Google nicht das KI-Training. Wenn sie fehlt, gibt es keinen eigenen Search-Crawler für die gewünschte Trennung.
Google-Extended betrifft andere Gemini-Nutzungen
Google-Extended ist kein eigener HTTP-Crawler. Google verwendet bestehende User-Agents; der Name dient nur als Produkttoken in robots.txt.
User-agent: Google-Extended
Disallow: /
Die Regel steuert laut Google bestimmte Nutzungen für das Training zukünftiger Gemini-Modelle und für Grounding in Gemini Apps sowie Vertex AI. Sie beeinflusst weder Aufnahme noch Ranking in Google Search. Der Token trennt die dokumentierten Trainings- und Grounding-Zwecke nicht voneinander.
Entscheidungen nicht vermischen
| Gewünschtes Ergebnis | Kontrolle |
|---|---|
| gesamte Google-Suche zulassen | Googlebot crawlen lassen |
| klassische Suche zulassen, generative Search-Funktionen ausschliessen | Search-Console-Einstellung, sofern verfügbar |
| Search zulassen, dokumentierte Gemini-Nutzung ablehnen | Google-Extended sperren |
| Seite vollständig aus Search entfernen | abrufbares noindex |
robots.txt ist keine Sicherheitsmassnahme. Nicht öffentliche Inhalte benötigen Zugriffsschutz.
Verfügbarkeit und Wirkung dokumentieren
Prüfe Googlebot-Regeln sowie CDN, Firewall und Hosting. Dokumentiere, ob die Search-Console-Einstellung für die Property verfügbar ist. Halte Google-Extended separat mit Entscheid, verantwortlicher Person, Prüfdatum und betroffenen Pfaden fest.
Erwarte Google-Extended nicht als eigenen User-Agent im Serverlog. Anbieterfunktionen können sich ändern; prüfe die Primärquellen bei jeder Änderung.
Quellen und Vertiefung
- Google-Crawler und Google-Extended, GoogleGooglebot und Google-Extended.
- AI features and your website, Google Search CentralSearch-Anforderungen, Kontrollen und Messung.
- Generative KI-Inhaltsfreigabe verwalten, Google Search Console-HilfeProperty-Einstellung für generative Search-Funktionen.
- Robots-Meta-Tag und X-Robots-Tag, Google Search CentralSnippet- und Indexierungsregeln.
- Google-Crawler verifizieren, GooglePrüfung echter Google-Anfragen.