Was ist die robots.txt?
Die robots.txt ist eine Textdatei im Hauptverzeichnis einer Website, die Suchmaschinen und anderen Crawlern mitteilt, welche Bereiche sie abrufen dürfen. Sie steuert das Crawlen, schützt aber keine Inhalte und ist kein Mittel, um Seiten aus dem Index zu entfernen.
robots.txt: Definition und Bedeutung
Die robots.txt ist eine einfache Textdatei im Hauptverzeichnis einer Domain, etwa unter beispiel.de/robots.txt. Sie beruht auf dem Robots Exclusion Protocol, das 2022 als RFC 9309 standardisiert wurde. Seriöse Crawler rufen die Datei vor dem Besuch einer Website ab und richten sich nach den hinterlegten Regeln.
Jede Subdomain braucht eine eigene robots.txt, und die Datei ist öffentlich lesbar: Jeder kann sie aufrufen und sehen, welche Pfade ausgeschlossen sind. Sie eignet sich deshalb nicht, um vertrauliche Bereiche zu verstecken. Dafür sind Zugriffsschutz, Login und Rechteverwaltung zuständig.
So funktioniert die robots.txt
Die Datei besteht aus Blöcken. Mit User-agent legen Sie fest, für welchen Crawler eine Regel gilt, mit Disallow sperren Sie Pfade, mit Allow erlauben Sie Ausnahmen. Google wertet nur die ersten 500 KiB der Datei aus und kennt ausschließlich diese Angaben und die Sitemap-Zeile. Anweisungen wie crawl-delay ignoriert es.
Wichtig ist der Unterschied zwischen Crawlen und Indexieren. Eine per Disallow gesperrte Seite kann trotzdem in den Suchergebnissen auftauchen, wenn andere Seiten auf sie verlinken, dann allerdings ohne Beschreibung. Soll eine Seite aus dem Index, braucht sie ein noindex und darf nicht gesperrt sein, sonst sieht der Crawler das noindex nie.
- User-agent: * – gilt für alle Crawler
- Disallow: /warenkorb/ – sperrt einen Pfad für das Crawlen
- Allow: – erlaubt eine Ausnahme in einem gesperrten Pfad
- Sitemap: – nennt die vollständige Adresse der XML-Sitemap
Praxisbeispiel: Relaunch mit Folgen
Ein Handwerksbetrieb lässt seine Website neu bauen. Auf dem Testserver sperrt ein Disallow die gesamte Seite, damit niemand die unfertige Version findet. Beim Livegang wird die Datei versehentlich mitkopiert. Wenige Wochen später gehen die Anfragen über Google spürbar zurück, weil Crawler nichts mehr abrufen dürfen.
Behoben ist das mit einer korrigierten Datei und einer Kontrolle in der Google Search Console, danach dauert es, bis Google die Seiten wieder vollständig abruft. Deshalb gehört die robots.txt auf jede Checkliste für den Livegang. Testumgebungen sichert man zusätzlich per Passwortschutz, nicht nur per Disallow.
Grenzen und typische Fehler
Die robots.txt ist eine Bitte, keine Sicherheitsmaßnahme: Seriöse Crawler halten sich daran, böswillige Bots ignorieren sie einfach. Außerdem ist sie fehleranfällig, weil schon eine falsch gesetzte Zeile ganze Bereiche aussperren kann, ohne dass es auf der Website selbst sofort auffällt.
- Disallow: / auf der Live-Seite blockiert die gesamte Website
- CSS- und JavaScript-Dateien sperren: Google kann die Seite nicht korrekt darstellen
- Seiten per robots.txt „entfernen“ wollen: Dafür ist noindex zuständig
- Vertrauliche Pfade eintragen: Die Datei verrät sie jedem Leser
KI-Crawler und Umsetzung
Viele Betreiber nutzen die robots.txt inzwischen auch, um KI-Crawler wie GPTBot, ClaudeBot oder PerplexityBot zuzulassen oder zu sperren. Das Token Google-Extended steuert die Nutzung für Googles Gemini-Modelle, die normale Google-Suche bleibt davon unberührt. Nano Concepts prüft die robots.txt im technischen SEO-Audit und stimmt sie auf Ihre Ziele ab.
Häufige Fragen zu robots.txt
Im Stammverzeichnis der Domain, also unter ihredomain.de/robots.txt. In Unterordnern wird sie nicht beachtet. Für jede Subdomain ist eine eigene Datei nötig, und sie muss als reiner Text ausgeliefert werden.
Nein, sie verhindert nur das Crawlen. Eine gesperrte URL kann dennoch ohne Beschreibung im Index stehen. Zum Entfernen nutzen Sie ein noindex-Meta-Tag (die Seite muss dafür crawlbar bleiben), einen Passwortschutz oder in dringenden Fällen das Entfernen-Tool der Search Console.
Nein. Fehlt die Datei, gehen Crawler davon aus, dass alles abrufbar ist, und crawlen die gesamte Website. Empfehlenswert ist sie trotzdem, um Warenkorb-, Login- oder Suchseiten auszuschließen und auf die Sitemap zu verweisen.
Ja, indem Sie deren User-Agent-Namen mit Disallow sperren. Die Anbieter dokumentieren ihre Crawler und geben an, die Datei zu beachten. Eine technische Garantie gibt es nicht. Wer Inhalte wirklich schützen will, braucht zusätzlich einen Zugriffsschutz.
Passende Leistungen
Technisches SEO-Audit
Prüfung von Crawling, Indexierung, Struktur und Ladezeit Ihrer Website – mit priorisiertem Maßnahmenplan und Umsetzung.
Mehr erfahren
SEO-Technik & Relaunch
Relaunch und technisches SEO mit Weiterleitungsplan, Ladezeit-Optimierung und Monitoring – gemeinsam mit LOMA DESIGN.
Mehr erfahren
GEO-Optimierung
Zitierfähige Fakten, strukturierte Daten und offene Technik – damit KI-Suchen wie ChatGPT und Perplexity Sie als Quelle nutzen.
Mehr erfahrenVerwandte Begriffe
Relevant für diese Branchen
Passende Magazin-Beiträge
WCAG 2.2 und BITV 2.0 in der Praxis: Barrierefreiheit umsetzen
Wie Sie eine Website nach WCAG 2.2 AA umsetzen: neue Kriterien, klare Zuständigkeiten in Design, Entwicklung und Redaktion, wirksame Tests und eine Checkliste für den Relaunch.
Weiterlesen
SEO und Suchmaschinen-Sichtbarkeit: Technik, Inhalte, KI-Suche
Gute Rankings entstehen aus Technik, Inhalten und konsequenter Auswertung – und zunehmend aus der Frage, ob auch KI-Suchen Ihre Seiten als Quelle nutzen. So wird Ihre Website sichtbar und bringt qualifizierte Anfragen.
Weiterlesen
GA4 richtig konfigurieren: Events, Schlüsselereignisse und Rollout
Google Analytics 4 liefert nur belastbare Zahlen, wenn Events, Schlüsselereignisse und Einwilligung geplant sind. So entsteht ein Tracking-Konzept, das sich sauber ins Rollout bringen lässt.
Weiterlesen
