Crawl Budget

Crawl Budget bezeichnet die Anzahl an Seiten, die Google innerhalb eines bestimmten Zeitraums (usually pro Tag) auf einer Website crawlt und verarbeitet. Dieses Budget wird von Google individuell für jede Domain festgelegt und hängt von Faktoren wie Servergeschwindigkeit, Verfügbarkeit, Seitenqualität und Update-Häufigkeit ab. Große Websites mit tausenden oder millionen Seiten haben begrenzte Crawl Budgets – nicht alle Seiten können täglich gecrawlt werden. Daher ist Crawl-Budget-Optimierung für große Websites kritisch.

Technisch besteht das Crawl Budget aus zwei Komponenten: Crawl-Rate (wie schnell Google crawlen kann) und Crawl-Demand (welche Seiten Google crawlen will). Google setzt die Crawl-Rate basierend auf Server-Response-Time: Je schneller die Website antwortet, desto höher die Rate. Der Crawl-Demand wird durch Signale bestimmt: Seiten mit vielen Backlinks, häufigen Updates oder hohem Nutzertraffic werden bevorzugt. Dünne Seiten, fehlerhafte 404-Seiten und endlose URL-Parameter verschwenden wertvoll Crawl Budget – Google crawlt die und findet keine neuen Inhalte.

In der Praxis sollte man Crawl Budget durch mehrere Maßnahmen optimieren: 1) robots.txt nutzen, um unnötige Bereiche auszuschließen (Admin, Druck, Test), 2) URL-Parameter reduzieren (Session-IDs, Sortierungen via robots.txt blockieren), 3) 404-Seiten fixen oder blockieren, 4) interne Verlinkung auf wichtige Seiten konzentrieren, 5) XML-Sitemap mit nur wichtigen URLs bereitstellen, 6) Server-Performance optimieren. Google Search Console zeigt „Crawl-Statistiken” an, die das Crawl-Volumen und Fehler anzeigen – ein guter Indikator für Budget-Gesundheit.