X-Robots-Tag

X-Robots-Tag bezeichnet eine HTTP-Header-Anweisung, mit der Website-Betreiber Suchmaschinen steuern können, wie sie eine Seite indexieren und behandeln sollen. Diese Anweisung fungiert als Alternative zum Meta Robots Tag und wird direkt im HTTP-Header einer Seite übermittelt, statt im HTML-Code. Das X-Robots-Tag ist besonders dann nützlich, wenn Dateitypen wie Bilder, PDFs oder andere Non-HTML-Dateien vor der Indexierung geschützt werden sollen – Fälle, in denen ein Meta-Tag technisch nicht möglich wäre.

Technisch betrachtet wird das X-Robots-Tag vom Webserver vor dem eigentlichen Seiteninhalt übermittelt und gibt dem Googlebot (oder anderen Crawlern) klare Anweisungen wie „noindex”, „nofollow” oder „noarchive”. Google liest diese Header-Direktiven mit derselben Priorität wie Meta-Tags aus. Der Mechanismus funktioniert besonders gut für dynamisch generierte Seiten oder bei Servern, auf denen der HTML-Code nicht direkt editierbar ist – etwa bei gehosteten Lösungen oder CDN-Infrastrukturen.

In der Praxis hilft das X-Robots-Tag dabei, sensible Dateitypen von der Indexierung auszuschließen, ohne die Website-Struktur zu beeinträchtigen. Besitzer großer Dokumentbibliotheken oder Medienbereiche setzen es gezielt ein, um nur die relevanten Inhalte in Google zu zeigen. Allerdings sollte es sparsam und präzise verwendet werden – falsches Blockieren schadet dem Ranking. Mit der Search Console lässt sich überprüfen, ob Google die Anweisungen korrekt umgesetzt hat.