Meta Robots Angaben: So steuerst du Crawler richtig

Meta Robots Tags gehören zu den wichtigsten Steuerungselementen im technischen SEO. Sie entscheiden darüber, welche Seiten in den Suchindex gelangen und welche Links Crawler verfolgen dürfen. Fehler bei der Konfiguration können dazu führen, dass wichtige Inhalte unsichtbar bleiben oder unwichtige Seiten Crawl-Budget verschwenden.

Diese Anleitung zeigt dir, wie Meta Robots Angaben funktionieren, wo sie platziert werden und welche Kombinationen du für verschiedene Seitentypen einsetzen solltest.

Was sind Meta Robots Tags?

Meta Robots Tags sind Anweisungen an Suchmaschinen-Crawler. Sie werden entweder im HTML-Kopfbereich einer Seite oder im HTTP-Header hinterlegt. Ihre Aufgabe: Crawlern mitteilen, ob eine URL indexiert werden darf und ob sie den auf der Seite vorhandenen Links folgen dürfen.

Jede URL kann individuell gesteuert werden. Das macht Meta Robots Tags zu einem präzisen Werkzeug für die OnPage-Optimierung – vorausgesetzt, du setzt sie bewusst ein.

Wo werden Meta Robots Tags platziert?

Es gibt zwei mögliche Positionen:

Im HTML-Head: Der Tag wird innerhalb des <head>-Bereichs eingefügt. Das ist die gängigste Methode und funktioniert für klassische HTML-Seiten.

Im HTTP-Header: Alternativ kann die Anweisung über den Server-Response-Header übermittelt werden. Das ist vor allem bei Dateitypen wie PDFs sinnvoll, die keinen HTML-Kopf besitzen.

Die meisten CMS setzen Meta Robots Tags automatisch oder bieten Eingabefelder dafür an. Prüfen solltest du trotzdem – manuelle Fehler sind häufig.

Die vier wichtigsten Meta Robots Direktiven

Es gibt vier Grunddirektiven, die du kennen musst:

index:* Die Seite darf in den Suchindex aufgenommen werden. Das ist die Standardeinstellung – du musst sie nicht explizit setzen. noindex: Die Seite soll nicht indexiert werden. Sie erscheint nicht in den Suchergebnissen. Diese Direktive muss aktiv gesetzt werden. follow: Crawler dürfen den Links auf der Seite folgen und die verlinkten Ziele crawlen. Auch das ist Standard und muss nicht angegeben werden. nofollow: Crawler dürfen den Links nicht folgen. Die verlinkten URLs werden nicht über diese Seite entdeckt oder gecrawlt. Muss aktiv gesetzt werden.

Wichtig: index und follow sind Standardwerte. Wenn du keine Meta Robots Angabe machst, verhalten sich Crawler so, als wären diese beiden Direktiven gesetzt. Du musst also nur dann eingreifen, wenn du vom Standard abweichen willst.

Gängige Kombinationen von Meta Robots Tags

Aus den vier Direktiven ergeben sich vier häufig genutzte Kombinationen. Jede hat einen klaren Einsatzzweck.

Meta Robots TagBedeutungWann einsetzen?`<meta name="robots" content="index, follow">`URL indexieren, Links folgenNicht nötig – ist Standard. Nur zur Verdeutlichung im Code.`<meta name="robots" content="noindex, follow">`URL nicht indexieren, Links folgenFilterseiten, Danke-Seiten, Zwischenseiten ohne Suchrelevanz – aber mit wertvollen internen Links.`<meta name="robots" content="index, nofollow">`URL indexieren, Links nicht folgenSelten sinnvoll. Nur wenn die Seite ranken soll, aber Links nicht weitergegeben werden dürfen (z. B. Gästebücher).`<meta name="robots" content="noindex, nofollow">`URL nicht indexieren, Links nicht folgenLogin-Bereiche, Warenkorb, Checkout-Prozesse, interne Suchseiten.

Wann du „noindex, follow” nutzen solltest

Diese Kombination ist häufiger nützlich, als viele vermuten. Sie sorgt dafür, dass eine Seite nicht im Index landet, aber trotzdem als Bindeglied im internen Linkgefüge funktioniert.

Typische Anwendungsfälle:

Filterergebnisse in Onlineshops (z. B. „Schuhe Größe 42 rot”) Paginierungsseiten (Seite 2, 3, 4 …) Danke-Seiten nach Formularversand Zwischenseiten in mehrstufigen Prozessen

Der Vorteil: Crawler können weiterhin wichtige URLs über diese Seiten erreichen, ohne dass doppelte oder irrelevante Inhalte den Index belasten.

Wann du „noindex, nofollow” einsetzen solltest

Diese Kombination blockiert sowohl die Indexierung als auch das Crawlen von Links. Sie ist gedacht für Bereiche, die weder im Index erscheinen sollen noch Crawl-Budget verbrauchen dürfen.

Beispiele:

Login- und Registrierungsseiten Warenkörbe und Checkout-Seiten Interne Suchergebnisseiten Admin-Bereiche Testumgebungen oder Staging-Seiten

Hier geht es darum, technische Seiten vollständig aus dem Suchmaschinen-Radar zu nehmen.

Häufige Fehler bei Meta Robots Tags

Meta Robots Tags sind einfach – trotzdem passieren immer wieder dieselben Fehler.

1. Wichtige Seiten auf „noindex” gesetzt

Klassischer Fall: Eine Kategorie- oder Produktseite ist versehentlich auf noindex gestellt. Die Seite verschwindet aus dem Index, Rankings gehen verloren. Das passiert oft nach Relaunches oder durch fehlerhafte Template-Einstellungen.

Lösung: Prüfe regelmäßig, welche Seiten auf noindex stehen – zum Beispiel über die Google Search Console oder Crawling-Tools wie Screaming Frog.

2. „noindex” und „disallow” kombiniert

Wenn eine URL per robots.txt blockiert ist (Disallow), kann Google den Meta Robots Tag im HTML nicht auslesen. Das führt dazu, dass die Seite trotz noindex im Index bleiben kann – meist nur mit URL, ohne Snippet.

Lösung: Setze noindex nur bei URLs, die nicht per robots.txt blockiert sind. Oder nutze ausschließlich die robots.txt, wenn du URLs komplett vom Crawling ausschließen willst.

3. Zu viele Seiten auf „noindex, follow”

„Noindex, follow” ist praktisch – aber nicht für jeden Filterfall sinnvoll. Zu viele noindexierte Seiten mit internen Links können das Crawl-Budget unnötig belasten, ohne dass sie echten Mehrwert bringen.

Lösung: Setze noindex, follow gezielt ein – nicht flächendeckend. Prüfe, ob Seiten wirklich als Linkbrücke benötigt werden.

So prüfst du deine Meta Robots Einstellungen

Es gibt mehrere Möglichkeiten, deine Meta Robots Tags zu überprüfen:

Im Quellcode:* Rechtsklick → „Seitenquelltext anzeigen” → nach <meta name="robots" suchen.Mit Browser-Plugins: SEO-Erweiterungen wie „SEO Meta in 1 Click” zeigen Meta Robots Tags direkt an. Mit Crawling-Tools: Screaming Frog, Sitebulb oder Ryte crawlen deine Website und listen alle Meta Robots Tags übersichtlich auf. In der Google Search Console: Unter „Indexierung → Seiten” siehst du, welche URLs nicht indexiert wurden – oft mit Hinweis auf noindex.

{/* BILD: Screenshot eines Meta Robots Tags im HTML-Quellcode mit Markierung der relevanten Zeile */}

Meta Robots vs. X-Robots-Tag

Neben dem klassischen Meta Tag im HTML gibt es noch den X-Robots-Tag, der im HTTP-Header gesetzt wird. Er funktioniert identisch, hat aber einen entscheidenden Vorteil: Er kann auch für Nicht-HTML-Dateien wie PDFs, Bilder oder Office-Dokumente genutzt werden.

Beispiel für einen HTTP-Header:

X-Robots-Tag: noindex, nofollow

Das ist vor allem dann relevant, wenn du downloadbare Dateien vom Index ausschließen willst, ohne sie per robots.txt zu blockieren.

Fazit: Meta Robots Tags gezielt einsetzen

Meta Robots Tags sind ein einfaches, aber mächtiges Werkzeug. Sie entscheiden darüber, welche Inhalte sichtbar werden und welche im Hintergrund bleiben. Richtig eingesetzt, verhindern sie Indexierungsfehler, schonen Crawl-Budget und sorgen dafür, dass nur relevante Seiten in den Suchergebnissen auftauchen.

Die wichtigsten Punkte:

index, follow ist Standard – du musst nichts tun, wenn du genau das willst. noindex, follow eignet sich für Seiten, die Links weitergeben, aber selbst nicht ranken sollen. noindex, nofollow blockiert Seiten vollständig – ideal für Login-Bereiche und technische Seiten. Kombiniere nie noindex mit Disallow in der robots.txt – sonst kann Google den Tag nicht lesen. Prüfe regelmäßig, welche Seiten auf noindex stehen – vor allem nach Relaunches oder Template-Änderungen.

Wenn du unsicher bist, welche Einstellung für welche Seite richtig ist: Crawl deine Website, analysiere die Ergebnisse und korrigiere gezielt. Meta Robots Tags sind kein einmaliges Setup – sie gehören zur laufenden OnPage-Pflege.