Zum Inhalt springen
DE · ₺
Panel-Anmeldung Paket kaufen
Technisches SEO

Crawl-Budget: Was es ist und wen es betrifft

6 Minuten Lesezeit

Das Crawl-Budget ist die Anzahl der Seiten, die Googlebot in einem bestimmten Zeitraum auf Ihrer Website abrufen kann und abrufen möchte. Für die meisten kleinen und mittelgroßen Websites ist dieses Thema kein Problem; das bestätigt auch Google in seiner eigenen Dokumentation. Bei E-Commerce-, Anzeigen- und Nachrichtenseiten mit hunderttausenden Adressen kann das Crawl-Budget dagegen bestimmen, wie schnell neue Seiten entdeckt werden. Dieser Beitrag erklärt ohne Übertreibung, wen das Thema betrifft, was das Budget verschwendet und welche Schritte tatsächlich wirken.

Was ist das Crawl-Budget?

Googlebot besucht nicht jede Adresse Ihrer Website jeden Tag. Die Ressourcen sind begrenzt und werden auf Milliarden Websites verteilt. Den Umfang des Crawlings, der einer Website zugewiesen wird, nennt man inoffiziell Crawl-Budget. Wichtig dabei: Das Budget ist kein Ranking-Faktor. Häufiger gecrawlt zu werden bedeutet nicht automatisch einen besseren Platz; es hilft nur dabei, dass Ihre Seiten schneller entdeckt und aktualisiert werden.

Zwei Komponenten: Crawl-Kapazität und Nachfrage

KomponenteBedeutungAbhängig von
Obergrenze der Crawl-KapazitätDie Anzahl gleichzeitiger Anfragen, die Googlebot stellen kann, ohne Ihren Server zu überlastenAntwortgeschwindigkeit des Servers, Fehlerquote (5xx), Hosting-Ressourcen
Crawl-NachfrageWie stark Google Ihre Website crawlen möchteGröße der Website, Beliebtheit, wie oft sich Inhalte ändern, und ob Inhalte veralten

Der tatsächliche Crawl-Umfang ist der kleinere dieser beiden Werte. Wird Ihr Server langsam oder liefert er häufig 5xx-Fehler, senkt Google die Kapazität. Sind Ihre Seiten von geringer Qualität und wenig interessant, ist auch die Nachfrage von vornherein gering. Um die Kapazität zu erhöhen, helfen also Hosting-Leistung; um die Nachfrage zu erhöhen, Inhaltsqualität und Bekanntheit.

Wen betrifft es?

Laut dem Leitfaden, den Google für Betreiber großer Websites veröffentlicht hat, ist die Verwaltung des Crawl-Budgets vor allem für folgende Websites sinnvoll:

  • Websites mit rund einer Million oder mehr eindeutigen Seiten, deren Inhalte mit mittlerer Häufigkeit (etwa wöchentlich) wechseln.
  • Websites mit zehntausend oder mehr Seiten, deren Inhalte sehr häufig (täglich) wechseln.
  • Websites, bei denen in der Search Console viele Adressen im Status „Entdeckt – derzeit nicht indexiert“ stehen.

Eine Unternehmenswebsite, ein Blog oder ein kleiner Shop mit einigen hundert oder wenigen tausend Seiten gehört nicht in diese Gruppe. Dort liegt die verzögerte Indexierung einer neuen Seite meist nicht am Crawl-Budget, sondern an der Inhaltsqualität, an internen Links oder an einem technischen Hindernis. Schließen Sie zuerst die Ursachen aus unserem Leitfaden zu Indexierungsproblemen aus.

Ehrlicher Hinweis: Auf einer kleinen Website mit dem Gedanken „ich muss mein Crawl-Budget erhöhen“ zu arbeiten, löst meist das falsche Problem. Prüfen Sie zuerst, ob die Seite crawlbar, indexierbar und tatsächlich wertvoll ist.

Was verschwendet das Crawl-Budget?

Die von Google genannten wichtigsten Verschwendungsquellen sind:

  • Kombinationen aus Filtern und Sortierungen (Faceted Navigation): Werden in einer Kategorie Farbe, Größe, Preis und Sortierung kombiniert, kann dieselbe Produktliste Tausende Adressen mit Parametern erzeugen.
  • Sitzungs-IDs und Tracking-Parameter: Strukturen, die jedem Besucher eine andere URL erzeugen.
  • Doppelte Inhalte: Derselbe Inhalt ist unter mehreren Adressen erreichbar. Zum Zusammenführen lesen Sie den Beitrag zum canonical-Tag.
  • Soft 404 und 404-Seiten: Nicht vorhandene Adressen, die weiter gecrawlt werden. Siehe 404-Fehler und SEO.
  • Lange Weiterleitungsketten: Jeder Schritt verbraucht eine eigene Anfrage. Siehe den Unterschied zwischen 301 und 302.
  • Endlose Bereiche: Kalender oder Links wie „nächster Monat“, die unendlich viele URLs erzeugen.
  • Dünne und minderwertige Seiten: Sie werden gecrawlt, aber nicht indexiert, und verbrauchen Budget.
  • Langsamer Server: Je länger die Antwortzeit, desto weniger Seiten crawlt Googlebot in derselben Zeit.

Wie wird es gemessen?

  1. Bericht Crawl-Statistiken: Im Bereich Einstellungen der Search Console zeigt der Bericht „Crawl-Statistiken“ die täglichen Anfragen, die durchschnittliche Antwortzeit, die Verteilung der Antwortcodes und die Dateitypen. Achten Sie zuerst auf plötzliche Änderungen bei der Gesamtzahl der Anfragen und bei den Anteilen von 5xx und 404.
  2. Server-Logdateien: Sie sind die einzige Quelle, die genau zeigt, welche Adressen wie oft gecrawlt werden. Hier sehen Sie, auf welche parametrisierten Adressen und Ordner Googlebot am häufigsten zugreift.
  3. Seitenbericht: Die Anzahl der Seiten im Status „Entdeckt – derzeit nicht indexiert“ und „Gecrawlt – derzeit nicht indexiert“ sowie Beispieladressen.
  4. Vergleich mit der Sitemap: Vergleichen Sie die Anzahl der Adressen in der Sitemap mit der Anzahl eindeutiger Adressen, die in den Logdateien gecrawlt wurden.

Beispiel: Ein Shop mit 20.000 Produkten erhält in den Logdateien den größten Teil der Googlebot-Anfragen auf Adressen wie ?farbe=...&groesse=...&sortierung=..., und neue Produkte werden tagelang nicht indexiert. Dann liegt sehr wahrscheinlich das Problem darin, dass das Budget in die Filterkombinationen fließt. (Dies ist ein hypothetisches Beispiel; überprüfen Sie es auf Ihrer eigenen Website anhand der Logdateien.)

Optimierungsschritte

  1. Verwalten Sie Ihr URL-Inventar. Sperren Sie Bereiche, die nicht gecrawlt werden sollen (interne Suchergebnisse, wertlose Filterkombinationen), per robots.txt. Wie die Regeln geschrieben werden, erklärt unser robots.txt-Leitfaden.
  2. Führen Sie Duplikate zusammen. Bündeln Sie Adressen mit gleichem Inhalt per Weiterleitung oder canonical auf eine einzige Adresse.
  3. Geben Sie für dauerhaft gelöschte Inhalte 404 oder 410 aus. Google vergisst bekannte Adressen nicht, aber 404/410 ist ein starkes Signal, das das Crawling reduziert.
  4. Bereinigen Sie Soft 404s. Leere oder „nicht gefunden“ meldende Seiten sollten den echten Statuscode zurückgeben.
  5. Halten Sie die Sitemap aktuell. Nehmen Sie nur Adressen auf, die indexiert werden sollen und 200 liefern, und gleichen Sie den Wert lastmod mit tatsächlichen Aktualisierungen ab. Details dazu finden Sie in unserem Leitfaden zur XML-Sitemap.
  6. Kürzen Sie Weiterleitungsketten und verlinken Sie interne Links direkt auf die endgültige Adresse.
  7. Verbessern Sie die Seitenladezeit und die Serverleistung. Wird der Server schneller, kann die Kapazitätsgrenze steigen. Caching und Hosting-Qualität sind hier entscheidend.
  8. Heben Sie wichtige Seiten durch interne Links hervor. Seiten nahe der Startseite und oft gecrawlter Seiten werden leichter entdeckt. Unser Beitrag zur Strategie der internen Verlinkung behandelt dieses Thema.
  9. Überwachen Sie den Serverzustand. Überlastung sowie 5xx- und 429-Antworten führen dazu, dass Googlebot langsamer wird.

Beispiel: eine gefilterte Kategorieseite verwalten

Die typischste Quelle für Crawl-Budget-Probleme ist die gefilterte Navigation. Erzeugt in einer Schuhkategorie jede Kombination aus Farbe, Größe, Marke und Sortierung eine eigene Adresse, kann eine Liste mit hundert Produkten sich in Tausende crawlbare Adressen verwandeln. Zur Entscheidung stellen Sie diese Frage: Sucht jemand tatsächlich nach dieser Filterkombination?

  • Ja (z. B. „schwarze Sportschuhe“): Entwickeln Sie die Seite mit eigenem Titel, eigener Beschreibung und eigenem Inhalt als eigenständige Zielseite, unterstützen Sie sie durch interne Links und halten Sie sie crawlbar.
  • Nein (z. B. „Größe 42 + nach Preis aufsteigend“): Begrenzen Sie das Crawlen per robots.txt oder verhindern Sie, dass diese Adressen durch Seitenlinks verbreitet erzeugt werden; verweisen Sie per canonical auf die eigentliche Kategorie.
  • Sortier- und Sitzungsparameter sollten niemals im Index landen; sie müssen alle auf eine einzige Adresse zusammengeführt werden.

Hinweis: Das canonical-Tag auf Adressen, die per robots.txt gesperrt sind, kann Google nicht sehen. Verlassen Sie sich daher für dieselben Adressen nicht sowohl auf die Sperre als auch auf canonical; treffen Sie bewusst die Entscheidung, welche Methode Sie wählen.

Verbreitete Irrtümer

Verbreitete AnnahmeTatsache
„Noindex spart Crawl-Budget.“Nein. Googlebot ruft auch eine noindex-Seite ab; er nimmt sie nur nicht in den Index auf. Um das Crawlen zu reduzieren, verwenden Sie robots.txt, um aus dem Index zu entfernen, noindex; kennen Sie den Unterschied.
„Wenn ich häufiger gecrawlt werde, ranke ich besser.“Der Umfang des Crawlings ist kein Ranking-Signal.
„Ich kann die Crawl-Rate in der Search Console erhöhen.“Google hat das alte Tool zur Begrenzung der Crawl-Rate entfernt; die Geschwindigkeit wird automatisch bestimmt.
„Jede Website hat ein Budgetproblem.“Für die meisten Websites trifft das Thema nicht zu; es ist nur bei sehr großen oder sehr schnell wechselnden Websites deutlich spürbar.
„Häufiges Senden der Sitemap erhöht das Crawling.“Die Sitemap hilft bei der Entdeckung, erzwingt aber kein Crawling. Entscheidend ist, dass die Sitemap korrekt und aktuell ist.

Alle diese Schritte sind Teil Ihrer technischen Prüfung; für eine allgemeine Kontrollreihenfolge nutzen Sie unsere Checkliste für technisches SEO. Bei JavaScript-basierten Websites brauchen Crawling und Rendering zusätzlich Zeit; sehen Sie sich deshalb auch unseren Beitrag JavaScript-SEO-Grundlagen an. Googles offizieller Leitfaden zur Verwaltung des Crawl-Budgets bei großen Websites ist ebenfalls empfehlenswert.

Häufig gestellte Fragen

Wie finde ich mein Crawl-Budget heraus?

Es gibt keinen festen Einzelwert. Der Bericht „Crawl-Statistiken“ in der Search Console zeigt die täglichen Anfragen; die Server-Logdateien liefern die Details pro Adresse.

Ist das Crawl-Budget für meine kleine Website wichtig?

In der Regel nicht. Bei Websites bis zu einigen tausend Seiten sollten Sie sich auf Inhaltsqualität, interne Verlinkung und die grundlegende technische Gesundheit konzentrieren.

Verschwindet eine per robots.txt gesperrte Seite aus dem Index?

Nein. robots.txt verhindert das Crawlen, aber wenn die Adresse von außen verlinkt ist, kann sie im Index bleiben. Zum Entfernen aus dem Index verwenden Sie noindex; dafür muss die Seite aber crawlbar sein.

Erhöht eine schnellere Server-Antwort das Budget?

Wenn Ihre Antwortzeit sinkt, kann Google in derselben Zeit mehr Seiten crawlen; die Kapazitätsgrenze hat dann Potenzial, zu steigen, ein garantiertes Ergebnis ist das aber nicht.

Fazit

Das Crawl-Budget ist ein echtes Thema für große Websites, für kleine Websites dagegen ein Konzept, dem man nicht hinterherlaufen sollte. Bewerten Sie es nach der Größe Ihrer Website: Ist sie groß, überwachen Sie Crawl-Statistiken und Logdateien und reduzieren Sie überflüssige Adressen; ist sie klein, widmen Sie Ihre Energie Inhalten und internen Links. In beiden Fällen erleichtern ein schneller Server, eine saubere URL-Struktur und eine aktuelle Sitemap die Arbeit von Googlebot. Welche weiteren Maßnahmen Sie auf dieser technischen Grundlage für mehr Sichtbarkeit ergreifen können, zeigt unser Beitrag zu Methoden zur Steigerung des organischen Traffics im Überblick.

Fehlen Ihrem Keyword die Klicks?

HitBot erzeugt echte Sitzungen, die nach Ihrem Ziel-Keyword suchen, Ihre Website finden und anklicken. Das Ergebnis sammelt sich in Search Console als Impressionen und Klicks.

Weitere Beiträge