Zum Inhalt springen
DE · $
Panel-Anmeldung Paket kaufen
Technisches SEO

robots.txt erklärt: Aufbau, Beispiele und häufige Fehler

6 Minuten Lesezeit

robots.txt ist eine kleine Textdatei im Stammverzeichnis Ihrer Website, die Suchmaschinen-Bots mitteilt, welche Adressen sie aufrufen dürfen und welche sie besser meiden sollten. Eine einzige fehlerhafte Zeile kann das Crawling der gesamten Website stoppen; eine korrekt geschriebene Datei dagegen lenkt das Crawl-Budget auf die wichtigen Seiten. In diesem Leitfaden erklären wir Ihnen, wozu die robots.txt dient, wie Sie sie schreiben, welche Anweisungen Google unterstützt und welche Fehler am häufigsten passieren, jeweils mit Beispielen.

Was ist robots.txt?

robots.txt ist die Datei des als "Robots Exclusion Protocol" bekannten Standards. Sie liegt als reine Textdatei (UTF-8) vor und muss unbedingt im Stammverzeichnis der Domain liegen: https://www.ornek.com/robots.txt. Eine robots.txt in einem Unterordner wird nicht berücksichtigt. Jede Subdomain (zum Beispiel blog.ornek.com) und jede Kombination aus Protokoll und Port benötigt eine eigene Datei.

Der Zweck der Datei ist die Steuerung des Crawling-Traffics: Bots davon abzuhalten, Zeit auf Bereiche ohne Mehrwert zu verschwenden, etwa Admin-Bereiche, Warenkörbe, interne Suchergebnisse oder endlose Filter-URLs mit Parametern. Sie ist kein Sicherheitswerkzeug; jeder kann die Datei lesen. Wenn Sie einen Ordner geheim halten möchten, verrät Ihnen der Eintrag dieses Namens in der Datei nur, dass er existiert. Verwenden Sie für geheime Inhalte einen Passwortschutz oder eine Zugriffskontrolle.

Wie nutzen Suchmaschinen die robots.txt?

Bevor ein Bot eine Seite der Website crawlt, ruft er die robots.txt ab und liest die darin enthaltenen Regeln. Die Regeln werden nach "User-Agent" gruppiert; der Bot wählt die für ihn passendste Gruppe aus und wendet nur diese an. Einige wichtige Details:

  • Ist die Datei nicht auffindbar (eine 4xx-Antwort wie 404), wertet Google das als "keine Einschränkung" und crawlt die Website frei.
  • Liefert der Server einen 5xx-Fehler, drosselt oder stoppt Google das Crawling vorsichtshalber; die robots.txt-Adresse sollte daher immer zuverlässig antworten.
  • Google verarbeitet nur die ersten 500 KiB der Datei; sehr große Dateien werden abgeschnitten.
  • Pfadregeln unterscheiden zwischen Groß- und Kleinschreibung: /Admin/ und /admin/ sind verschiedene Pfade.
  • Google lädt die Datei nicht bei jeder Anfrage neu, sondern speichert sie im Cache. Änderungen wirken daher nicht sofort, sondern erst nach einiger Zeit.

Grundlegende Syntax und Anweisungen

Google unterstützt genau vier Anweisungen. Die folgende Tabelle fasst zusammen, was jede davon bewirkt.

AnweisungWirkungBeispiel
User-agentLegt fest, für welchen Bot die Regel gilt; * steht für alle Bots.User-agent: Googlebot
DisallowVerhindert das Crawling des angegebenen Pfads.Disallow: /sepet/
AllowErlaubt einen bestimmten Pfad innerhalb eines gesperrten Ordners.Allow: /sepet/yardim.html
SitemapGibt die vollständige Adresse der Sitemap-Datei an; unabhängig von der Gruppe.Sitemap: https://www.ornek.com/sitemap.xml

Zwei Platzhalterzeichen können verwendet werden: * (beliebige Zeichenfolge) und $ (Ende der Adresse). Zum Beispiel erfasst Disallow: /*.pdf$ jeden Pfad, der auf .pdf endet, und Disallow: /*?sirala= alle Adressen mit dem Parameter "sirala". Passt eine Adresse sowohl zu einer Allow- als auch zu einer Disallow-Regel, wendet Google die spezifischere (längere) Regel an.

Nicht unterstützt: Crawl-delay wird von Google ignoriert (einige andere Suchmaschinen können es auswerten). Die Zeile Noindex gilt seit 2019 ebenfalls nicht mehr in der robots.txt. Um eine Seite aus dem Index zu entfernen, benötigen Sie ein noindex-Meta-Tag oder einen entsprechenden HTTP-Header.

Eine beispielhafte robots.txt-Datei

Für eine Unternehmenswebsite oder einen kleinen Onlineshop könnte eine sinnvolle Startvorlage so aussehen:

User-agent: *
Disallow: /yonetim/
Disallow: /sepet/
Disallow: /odeme/
Disallow: /arama/
Disallow: /*?sirala=
Disallow: /*?oturum=

Sitemap: https://www.ornek.com/sitemap.xml

Diese Datei verbietet allen Bots das Crawling von Verwaltungs-, Warenkorb-, Kassen- und internen Suchseiten sowie von Adressen mit Sortier- und Sitzungsparametern; alles Übrige ist erlaubt. Auf einer WordPress-Website findet man häufig das Paar Disallow: /wp-admin/ und Allow: /wp-admin/admin-ajax.php. Um festzustellen, welche Pfade auf Ihrer eigenen Website wertlos sind, sehen Sie sich zuerst die Crawling-Statistiken in der Search Console und Ihre Server-Logdateien an. Vorlagen, die ungeprüft übernommen werden, sperren meist mehr als nötig.

Eigene Regeln für verschiedene Bots

Sie können in einer Datei mehrere Gruppen definieren. Jede Gruppe beginnt mit einer oder mehreren Zeilen User-agent, gefolgt von den Regeln. Der Bot wählt die eine Gruppe aus, die am besten zu seinem Namen passt; die Regeln der allgemeinen Gruppe (*) übernimmt er nicht zusätzlich. Wenn Sie also für einen bestimmten Bot eine Gruppe anlegen, müssen Sie gemeinsame Regeln in dieser Gruppe erneut aufführen.

User-agent: *
Disallow: /yonetim/
Disallow: /arama/

User-agent: Googlebot-Image
Disallow: /ozel-gorseller/
Disallow: /yonetim/

Sitemap: https://www.ornek.com/sitemap.xml

Im obigen Beispiel wendet der Googlebot-Image nur seine eigene Gruppe an; deshalb steht die Regel /yonetim/ auch dort. Leerzeilen zwischen den Gruppen erhöhen die Lesbarkeit. Mit # am Zeilenanfang können Sie Kommentare schreiben; diese Zeilen werden ignoriert. Vermeiden Sie unnötig viele Regeln: Eine unbetreute robots.txt, die über die Jahre gewachsen ist, wird zu einer Fehlerquelle, weil niemand mehr weiß, warum eine Regel existiert. Es ist eine gute Gewohnheit, den Grund jeder Regel mit einem kurzen Kommentar zu dokumentieren.

Crawling blockieren ist nicht dasselbe wie aus dem Index entfernen

Dies ist der am häufigsten verwechselte Punkt. Die robots.txt schränkt nur das Crawling ein. Erhält eine gesperrte Adresse Links von anderen Websites oder von internen Verlinkungen, kann Google sie trotzdem in den Index aufnehmen, ohne den Inhalt je gesehen zu haben. In den Suchergebnissen erscheint sie dann nur mit der Adresse und ohne Beschreibung. Noch problematischer ist es, wenn Sie eine Seite sowohl per robots.txt sperren als auch mit noindex versehen: Google kann die Seite nicht aufrufen und sieht daher das noindex nie.

Ihr ZielDie richtige Methode
Crawl-Budget soll nicht für wertlose Adressen verbraucht werdenDisallow in der robots.txt
Seite soll nicht in den Suchergebnissen erscheinenSeite für das Crawling offen lassen und noindex-Tag setzen
Inhalt soll vor allen verborgen bleibenPasswort/Zugriffskontrolle (die robots.txt bietet keine Sicherheit)
Signale doppelter Adressen sollen gebündelt werden301-Weiterleitung oder Canonical (siehe unser Canonical-Leitfaden)

Kleine oder große Website? Bei einer Website mit einigen Hundert Seiten ist der Einfluss der robots.txt auf die Crawling-Effizienz begrenzt; ihr eigentlicher Wert liegt darin, falsche Bereiche auszuschließen und die Sitemap bekanntzugeben. Bei Onlineshops oder Anzeigenportalen mit Hunderttausenden Adressen und vielen Filterkombinationen macht es dagegen einen echten Unterschied, unnötige Adresskombinationen vom Crawling auszuschließen.

Die häufigsten Fehler

  1. Die gesamte Website blockieren. Wenn die Zeile Disallow: / aus einer Entwicklungsumgebung mit auf den Live-Server übertragen wird, kann die Website nicht mehr gecrawlt werden. Prüfen Sie die robots.txt bei jeder neuen Veröffentlichung.
  2. CSS- und JavaScript-Ordner blockieren. Google benötigt diese Dateien, um die Seite zu rendern und ihre Mobiltauglichkeit zu beurteilen. Werden sie gesperrt, kann die Seite unvollständig dargestellt werden.
  3. In der Sitemap aufgeführte Adressen blockieren. Einerseits "Nimm diese Seite in den Index auf" und andererseits "Geh nicht hin" zu sagen, ist widersprüchlich; die Search Console zeigt dies als Warnung an.
  4. noindex in die robots.txt schreiben. Wie oben beschrieben, wirkt das nicht mehr.
  5. Falscher Speicherort. Liegt die Datei nicht im Stammverzeichnis oder heißt sie anders, etwa Robots.TXT, wird sie nicht als Regelwerk berücksichtigt.
  6. Einen zu weit gefassten Pfad angeben. Disallow: /urun betrifft nicht nur den Ordner "urun", sondern alle Adressen, die mit "/urun" beginnen, also auch /urunler/ und /urun-detay.html. Wenn Sie einen Ordner meinen, setzen Sie einen Schrägstrich ans Ende.
  7. Seiten für das Crawling sperren und dann auf eine 301 warten. Sperren Sie alte Adressen, die weitergeleitet werden sollen, ab, kann der Bot die Weiterleitung nicht sehen.

Testen vor der Veröffentlichung

Erstellen Sie vor jeder Änderung eine Sicherungskopie der aktuellen Version. Gehen Sie anschließend so vor:

  1. Öffnen Sie die Datei im Browser (/robots.txt) und prüfen Sie, dass sie mit dem Statuscode 200 als Klartext ausgeliefert wird.
  2. Öffnen Sie in der Search Console den Bericht Einstellungen → robots.txt; er zeigt die zuletzt von Google geladene Version, Syntaxfehler und Warnungen.
  3. Nutzen Sie für einige wichtige Seiten das Werkzeug URL-Prüfung; sehen Sie die Meldung "Durch robots.txt blockiert", überprüfen Sie die Regel.
  4. Schauen Sie in der Woche nach der Veröffentlichung im Seitenbericht nach, ob die Zahl bei "Durch robots.txt blockiert" unerwartet steigt. Für die Diagnose allgemeiner Indexierungsprobleme ist unser Leitfaden Google-Indexierungsprobleme hilfreich.

Die offizielle Dokumentation finden Sie im robots.txt-Leitfaden von Google Search Central. Die robots.txt ist nur ein Punkt der allgemeinen Gesundheitsprüfung; für alle Punkte nutzen Sie unsere Checkliste für technisches SEO.

Häufig gestellte Fragen

Ist eine robots.txt Pflicht?

Nein. Fehlt die Datei, crawlen Bots die Website uneingeschränkt. Wenn Sie aber Bereiche sperren oder die Adresse Ihrer Sitemap angeben möchten, lohnt es sich, eine anzulegen.

Wann wirkt eine Änderung an der robots.txt?

Google speichert die Datei im Cache und aktualisiert sie in der Regel innerhalb eines Tages. Die Wirkung kann daher zwischen wenigen Stunden und einem Tag auf sich warten lassen. In dringenden Fällen können Sie im Bericht zur robots.txt in der Search Console eine erneute Prüfung anfordern.

Kann ich KI-Bots mit der robots.txt blockieren?

Für Bots, die sich an die Regeln halten, ja; jeder Bot hat seinen eigenen User-Agent-Namen und kann als eigene Gruppe geschrieben werden. Die robots.txt ist jedoch eine Bitte, kein Zwang: Bots, die sich nicht an die Regeln halten, werden dadurch nicht gestoppt.

Warum erscheint meine per Disallow gesperrte Seite trotzdem bei Google?

Weil Disallow kein Befehl zum Entfernen aus dem Index ist. Die Adresse kann, da sie von anderen Seiten verlinkt wird, ohne Inhalt in der Liste erscheinen. Lösung: Entfernen Sie die Sperre und setzen Sie ein noindex auf der Seite, oder entfernen Sie die Seite vollständig.

Fazit

Die robots.txt ist eine kleine Datei mit großer Wirkung. Die Regel ist einfach: Sperren Sie nur wirklich wertlose Bereiche, geben Sie CSS- und JS-Dateien frei, nennen Sie Ihre Sitemap-Adresse und verwenden Sie die Datei nicht, um Seiten aus dem Index zu entfernen. Die Datei nach jeder Veröffentlichung in der Search Console zu prüfen und zu kontrollieren, dass wichtige Seiten crawlbar sind, verhindert die meisten Probleme von vornherein. Als Nächstes können Sie mit Ihrer Sitemap-Datei fortfahren; dafür hilft Ihnen unser Leitfaden zur XML-Sitemap.

Fehlen Ihrem Keyword die Klicks?

HitBot erzeugt echte Sitzungen, die nach Ihrem Ziel-Keyword suchen, Ihre Website finden und anklicken. Das Ergebnis sammelt sich in Search Console als Impressionen und Klicks.

Weitere Beiträge