Was bedeutet Crawling und Indexierung?
Crawling bezeichnet das automatische Auffinden und Abrufen von Webseiten durch Suchmaschinen-Bots wie den Googlebot, Indexierung die anschließende Speicherung und Auswertung der Inhalte im Suchindex. Nur indexierte Seiten können in den Suchergebnissen erscheinen.
Crawling und Indexierung: Definition
Bevor eine Seite bei Google erscheinen kann, muss sie gefunden (Crawling), verarbeitet und gespeichert (Indexierung) werden. Das übernimmt der Googlebot, ein Programm, das Links folgt und Seiten abruft. Im Index sind die Inhalte nach Themen und Begriffen geordnet, sodass bei einer Suchanfrage in Sekundenbruchteilen passende Seiten gefunden werden.
Crawling ist keine Garantie für Indexierung, und Indexierung keine Garantie für gute Platzierungen. Google entscheidet nach Qualität und Nutzen, welche Seiten aufgenommen werden. Für Unternehmen lautet die zentrale Frage daher: Sind meine wichtigen Seiten überhaupt im Index? Ein Blick in die Search Console zeigt, welche Seiten Google kennt, welche es aufgenommen hat und wo Probleme auftreten.
So funktioniert die Aufnahme in den Index
Google entdeckt Seiten über Links und XML-Sitemaps. Anschließend ruft der Googlebot die Seite ab und stellt sie dar; auch JavaScript wird ausgeführt, was allerdings zusätzliche Zeit kostet. Lange Ladezeiten und häufige Serverfehler bremsen den Crawler zusätzlich. Das Verhalten lässt sich mit einigen Hilfsmitteln steuern:
- robots.txt: legt fest, welche Bereiche Crawler nicht abrufen sollen
- noindex: weist Suchmaschinen an, eine Seite nicht in den Index aufzunehmen
- Canonical-Tag: nennt die bevorzugte Adresse bei doppelten Inhalten
- XML-Sitemap: listet die Seiten, die indexiert werden sollen
- Interne Verlinkung: macht wichtige Seiten mit wenigen Klicks erreichbar
Praxisbeispiel: Onlineshop mit Filter-Adressen
Ein Onlinehändler bietet Filter für Größe, Farbe und Preis. Dadurch entstehen tausende Adressvarianten desselben Sortiments. Der Googlebot verbringt viel Zeit mit diesen Dubletten, während neue Produkte spät oder gar nicht im Index landen. In der Search Console steht bei vielen Adressen „Gecrawlt – zurzeit nicht indexiert“.
Abhilfe schaffen Canonical-Tags oder noindex für Filterkombinationen, eine Sitemap nur mit den relevanten Seiten und eine straffere interne Verlinkung. Außerdem sollten ausverkaufte oder entfernte Produkte sauber umgeleitet oder mit passendem Statuscode ausgeliefert werden, damit keine Fehlerseiten im Index verbleiben.
Vorteile, Grenzen und typische Fehler
Ein sauber gesteuerter Crawl lenkt die Aufmerksamkeit auf wichtige Seiten. Das Thema Crawl-Budget betrifft nach Googles Angaben vor allem sehr große Websites; kleine Unternehmensseiten haben meist andere Hebel. Zu beachten: Eine in der robots.txt gesperrte Seite kann trotzdem im Index auftauchen, wenn andere Seiten auf sie verweisen. Wer sie sicher ausschließen will, nutzt noindex und lässt den Abruf zu. Häufige Ursachen für fehlende Indexierung:
- noindex nach dem Relaunch versehentlich aus der Testumgebung übernommen
- Seiten sowie CSS- und JavaScript-Dateien durch robots.txt gesperrt
- Fehlerseiten (4xx/5xx) oder lange Weiterleitungsketten
- Dünne oder doppelte Inhalte ohne eigenen Mehrwert
- Wichtige Seiten ohne interne Links („verwaiste Seiten“)
Worauf Unternehmen achten sollten
Prüfen Sie regelmäßig in der Search Console den Bericht „Seitenindexierung“ und die URL-Prüfung für wichtige Seiten. Testumgebungen sollten per Zugriffsschutz abgeschirmt sein, statt sich nur auf noindex zu verlassen. Nano Concepts führt technische SEO-Audits durch, bereinigt Indexierungsprobleme und begleitet Relaunches inklusive Weiterleitungskonzept.
Häufige Fragen zu Crawling & Indexierung
Am zuverlässigsten mit der URL-Prüfung in der Google Search Console, die den Indexierungsstatus einzelner Seiten anzeigt. Die Suche „site:ihre-domain.de“ gibt einen groben Eindruck, ist aber nicht vollständig und ersetzt die Search Console nicht.
Häufige Gründe sind ein noindex-Hinweis, Sperren in der robots.txt, technische Fehler, doppelte oder sehr dünne Inhalte oder fehlende interne Links. Auch neue Seiten brauchen oft Tage bis Wochen; Google garantiert keine Aufnahme.
Crawling ist der Abruf einer Seite durch den Bot, Indexierung die Aufnahme in den Suchindex. Eine Seite kann gecrawlt, aber nicht indexiert werden, etwa wegen noindex oder zu geringer Qualität. Nur indexierte Seiten können in Ergebnissen erscheinen.
Das Crawl-Budget beschreibt, wie viele Seiten ein Bot in einem Zeitraum abruft. Es wird vor allem bei sehr großen Websites wichtig. Kleinere Seiten profitieren eher von schneller Technik, klarer Struktur und einer sauberen Sitemap.
Passende Leistungen
Technisches SEO-Audit
Prüfung von Crawling, Indexierung, Struktur und Ladezeit Ihrer Website – mit priorisiertem Maßnahmenplan und Umsetzung.
Mehr erfahren
SEO-Technik & Relaunch
Relaunch und technisches SEO mit Weiterleitungsplan, Ladezeit-Optimierung und Monitoring – gemeinsam mit LOMA DESIGN.
Mehr erfahren
Pagespeed-Optimierung
Schnellere Ladezeiten und bessere Core Web Vitals – gezielte Optimierung von Bildern, Code, Plugins und Server.
Mehr erfahrenVerwandte Begriffe
Relevant für diese Branchen
Passende Magazin-Beiträge
SEO und Suchmaschinen-Sichtbarkeit: Technik, Inhalte, KI-Suche
Gute Rankings entstehen aus Technik, Inhalten und konsequenter Auswertung – und zunehmend aus der Frage, ob auch KI-Suchen Ihre Seiten als Quelle nutzen. So wird Ihre Website sichtbar und bringt qualifizierte Anfragen.
Weiterlesen
GA4 richtig konfigurieren: Events, Schlüsselereignisse und Rollout
Google Analytics 4 liefert nur belastbare Zahlen, wenn Events, Schlüsselereignisse und Einwilligung geplant sind. So entsteht ein Tracking-Konzept, das sich sauber ins Rollout bringen lässt.
Weiterlesen
WCAG 2.2 und BITV 2.0 in der Praxis: Barrierefreiheit umsetzen
Wie Sie eine Website nach WCAG 2.2 AA umsetzen: neue Kriterien, klare Zuständigkeiten in Design, Entwicklung und Redaktion, wirksame Tests und eine Checkliste für den Relaunch.
Weiterlesen
