Was steuern robots.txt, noindex, Canonical und Redirect jeweils?
Vier technische Mittel greifen an unterschiedlichen Stellen von Crawling, Indexierung, Kanonisierung und URL-Wechsel ein.
Die kurze Antwort
robots.txt steuert, welche URLs ein regelkonformer Crawler abrufen soll. noindex fordert ein unterstützendes Suchsystem auf, eine abrufbare Ressource nicht zu indexieren. rel="canonical" benennt die bevorzugte Fassung gleicher oder sehr ähnlicher Inhalte. Ein Redirect leitet Client und Crawler zu einer anderen URL. Keines dieser Mittel schützt vertrauliche Inhalte; dafür brauchst du echte Zugriffskontrolle.
Crawling bedeutet, dass ein automatischer Client eine URL abruft. Indexierung bedeutet, dass ein Suchsystem den Inhalt verarbeitet und in seinen Suchindex aufnehmen kann. Kanonisierung bedeutet, dass es aus mehreren gleichen oder sehr ähnlichen URLs eine repräsentative Fassung auswählt.
robots.txt, noindex, Canonical und Redirect greifen an unterschiedlichen Stellen ein. Sie sind nicht austauschbar.
robots.txt steuert den Crawlerzugriff
Die Datei liegt unter /robots.txt im obersten Pfad eines Hosts. Mit Regeln für User-Agents legst du fest, welche Pfade ein kooperierender Crawler abrufen soll.
Ihr Zweck ist die Steuerung des Crawlings, nicht die Entfernung aus einem Suchindex. Kennt Google eine gesperrte URL etwa über Links, kann die Adresse weiterhin ohne normalen Beschreibungstext erscheinen. Weil Google die Seite nicht abrufen darf, kann es dort auch ein noindex nicht erkennen.
Das Robots Exclusion Protocol ist keine Zugriffskontrolle. Die Datei ist öffentlich und schützt keine vertraulichen Inhalte.
noindex steuert die Indexierung
noindex steht im Robots-Meta-Tag einer HTML-Seite oder im HTTP-Header X-Robots-Tag. Der Header eignet sich auch für PDF-Dateien.
Wenn Google die Regel beim Crawlen erkennt, soll die Ressource nicht im Index bleiben. Dafür muss der Abruf erlaubt sein. Eine gleichzeitige Sperre in robots.txt verhindert gerade die Erkennung. Auch noindex hält Menschen mit der URL nicht vom Zugriff ab.
Canonical benennt die bevorzugte Fassung
Ein Canonical, meist <link rel="canonical"> im HTML-head, benennt die repräsentative URL gleicher oder sehr ähnlicher Inhalte. Google behandelt es als starkes Signal, aber nicht als zwingende Anweisung. Die alternative URL bleibt erreichbar; sie wird weder weitergeleitet noch automatisch gelöscht.
Ein Canonical passt, wenn mehrere Fassungen bestehen bleiben müssen. Für eine endgültig ersetzte URL ist eine dauerhafte Weiterleitung klarer.
Redirect steuert den URL-Wechsel
Ein Redirect leitet Menschen, Browser und Crawler zu einem neuen Ziel. Dauerhafte HTTP-Weiterleitungen wie 301 und 308 signalisieren, dass die Ziel-URL die neue Adresse sein soll. 302, 303 und 307 beschreiben vorübergehende Situationen mit unterschiedlicher HTTP-Semantik.
Serverseitige HTTP-Weiterleitungen sind für einen normalen URL-Wechsel die klare Variante. Das Ziel muss sachlich zur alten URL passen.
Die Aufgabe bestimmt das Mittel
| Gewünschtes Ergebnis | Passendes Mittel |
|---|---|
| unnötige Crawlerabrufe begrenzen | robots.txt |
| erreichbare Seite aus dem Suchindex ausschliessen | abrufbares noindex |
| bevorzugte Fassung aus ähnlichen URLs benennen | Canonical |
| URL dauerhaft ersetzen | permanenter Redirect |
| Inhalt nicht öffentlich zugänglich machen | Authentifizierung und Autorisierung |
Prüfe die Mittel gemeinsam. Sitemap, interne Links, Canonical und Redirect sollten nicht auf widersprüchliche Ziele zeigen.
Quellen und Vertiefung
- Einführung in robots.txt, Google Search CentralZweck und Grenzen von robots.txt.
- Indexierung mit noindex blockieren, Google Search CentralAbrufbarkeit und Wirkung von noindex.
- Kanonische URL festlegen, Google Search CentralCanonical als starkes Signal.
- Weiterleitungen und Google Search, Google Search CentralDauerhafte und vorübergehende Redirects.
- Robots Exclusion Protocol, IETFStandard für robots.txt.