Suchmaschinen-Crawler

Ein Suchmaschinen-Crawler ist ein automatisiertes Softwareprogramm – auch Bot, Spider oder Spiderbot genannt – das systematisch das World Wide Web durchsucht, Seiteninhalte herunterlädt und Hyperlinks folgt, um neue oder aktualisierte URLs zu entdecken. Seine Kernaufgabe ist es, den Index einer Suchmaschine mit aktuellen Daten zu versorgen, damit die Suchmaschine bei einer Suchanfrage relevante und aktuelle Ergebnisse liefern kann. Ohne Crawler hätte eine Suchmaschine keine Möglichkeit zu erfahren, dass eine Seite überhaupt existiert.

Der Crawler selbst bewertet nichts. Er entdeckt Seiten und übergibt das Gefundene – Text, Links, Metadaten, Bilder – an ein separates Indexierungs- und Ranking-System. Crawling, Indexierung und Ranking sind drei unterschiedliche Phasen. Eine Seite kann gecrawlt werden und dennoch nie in den Suchergebnissen erscheinen, wenn sie die Qualitätsschwellen der Suchmaschine während der Indexierung nicht erfüllt.

Googles Crawler-Dokumentation unterscheidet zwischen allgemeinen Crawlern, speziellen Crawlern und nutzerausgelösten Abrufwerkzeugen. Überprüfen Sie die dokumentierte Identität und das Verhalten des betreffenden Crawlers, wenn Sie Zugriffsprobleme untersuchen.

Wie funktioniert ein Web-Crawler?

Ein Web-Crawler arbeitet in einer Endlosschleife, die auf wenigen Kernschritten basiert. Das Verständnis dieser Schritte hilft Website-Betreibern zu diagnostizieren, warum Seiten möglicherweise nicht in den Suchergebnissen erscheinen – das Problem liegt oft bereits in der Crawling-Phase, lange bevor das Ranking überhaupt eine Rolle spielt.

Seed-URLs und die Crawl-Frontier

Jeder Crawler beginnt mit einem Satz bekannter URLs, den sogenannten Seed-URLs. Diese können aus zuvor gecrawlten Seiten, eingereichten Sitemaps oder manuell ausgewählten Startpunkten stammen. Der Crawler lädt jede Seed-Seite herunter, extrahiert alle darin gefundenen Hyperlinks und fügt jeden noch nicht gesehenen Link einer Warteschlange hinzu, der Crawl-Frontier.

Der Zyklus wiederholt sich dann:

1. Eine URL aus der Crawl-Frontier abrufen.
2. Die Seite von ihrem Server abrufen.
3. Alle Links extrahieren und neue zur Warteschlange hinzufügen.
4. Den Seiteninhalt an das Indexierungssystem übergeben.

Diese Schleife endet nie wirklich. Das Web verändert sich ständig, und jede Sekunde erscheinen neue Seiten. Ein Crawler arbeitet sich daher einfach durch das Nächste in der Warteschlange, besucht alte Seiten erneut, um Änderungen zu prüfen, und fügt neu entdeckte URLs hinzu.

Rendering, Herunterladen und Indexierung

Sobald ein Crawler eine Seite abruft, rendert er den Inhalt – liest das HTML, führt nach Möglichkeit JavaScript aus und extrahiert Text, Bilder, Metadaten und strukturierte Daten. Anschließend lädt er diese Informationen herunter und übergibt sie an den Indexer der Suchmaschine.

Nicht jeder Crawler verarbeitet JavaScript gleich gut. Googlebot rendert JavaScript und wartet auf dynamisch geladene Inhalte, aber kleinere Suchmaschinen-Crawler lesen möglicherweise nur statisches HTML. Deshalb können Websites, die vollständig mit clientseitigen JavaScript-Frameworks erstellt wurden, für manche Suchmaschinen unsichtbar sein, sofern kein serverseitiges Rendering eingerichtet ist.

Links und Sitemaps folgen

Crawler entdecken neue Seiten über zwei Hauptkanäle:

• Hyperlinks: Sowohl interne Links (innerhalb derselben Website) als auch externe Links (von anderen Websites). Eine Seite ohne eingehende Links ist für Crawler praktisch unsichtbar – ein Problem, das manchmal als „Waisen-Seiten-Problem“ bezeichnet wird.
• XML-Sitemaps: Eine strukturierte Datei, die jede URL auflistet, die ein Website-Betreiber gecrawlt haben möchte, zusammen mit Metadaten wie dem Datum der letzten Änderung und der Priorität. Sitemaps geben Crawlern eine organisierte Karte, anstatt sie zu zwingen, jede Seite allein durch Link-Entdeckung zu finden.

Starten Sie noch heute Ihr Affiliate-Programm

Richten Sie erweitertes Tracking in wenigen Minuten ein. Keine Kreditkarte erforderlich.

Demo anfordern 30-Tage-Testversion starten

Wie Crawl-Richtlinien bestimmen, was gecrawlt wird

Crawler behandeln nicht alle Seiten gleich. Sie arbeiten nach einem Satz von Crawl-Richtlinien, die bestimmen, welche Seiten sie besuchen, in welcher Reihenfolge und wie oft sie zurückkehren.

Auswahlrichtlinien

Ein Crawler muss entscheiden, welche URLs aus seiner Crawl-Frontier priorisiert werden. Häufige Signale sind:

• Seiten-Popularität: URLs mit mehr eingehenden Links werden tendenziell häufiger gecrawlt.
• Aktualitätssignale: Seiten, die sich häufig ändern – Nachrichtenseiten, Blogs mit regelmäßigen Updates – werden aggressiver erneut besucht.
• Qualität der URL-Struktur: Saubere, logische URLs werden gegenüber langen, parameterreichen URLs bevorzugt, die auf Facettennavigation oder Sitzungs-IDs hindeuten.

Wiederbesuchsrichtlinien

Wie oft ein Crawler zu einer Seite zurückkehrt, hängt davon ab, wie häufig sich diese Seite ändert. Eine Nachrichten-Startseite wird möglicherweise alle paar Minuten gecrawlt. Eine statische „Über uns“-Seite wird vielleicht nur alle paar Monate erneut besucht. Webmaster können die Änderungshäufigkeit über XML-Sitemap-<changefreq>-Tags signalisieren, wobei Suchmaschinen diese als Hinweise und nicht als Anweisungen behandeln.

Höflichkeitsrichtlinien

Crawler sind so programmiert, dass sie Webserver nicht überlasten. Sie respektieren eine Crawl-Ratenbegrenzung – die maximale Anzahl von Anfragen, die sie innerhalb eines bestimmten Zeitraums an eine einzelne Website senden. Wenn ein Server mit HTTP-Fehlern wie 500 oder 503 antwortet, zieht sich der Crawler zurück, um das Problem nicht zu verschlimmern. Dies ist ein Grund, warum Crawling im großen Maßstab eine echte technische Herausforderung darstellt.

Die Robots.txt-Datei

Die robots.txt-Datei ist ein Textdokument, das im Stammverzeichnis einer Domain platziert wird und Crawlern mitteilt, welche URLs sie anfordern dürfen und welche nicht. Es ist das mit Abstand wichtigste Werkzeug zur Verwaltung des Crawler-Zugriffs. Ein robots.txt-Eintrag könnte wie folgt aussehen:

User-agent: Googlebot
Disallow: /private/
Allow: /public/

Crawl-Budget

Das Crawl-Budget ist die Anzahl der Seiten, die eine Suchmaschine innerhalb eines bestimmten Zeitrahmens auf einer Website crawlt. Es wird durch zwei Faktoren bestimmt:

• Crawl-Ratenbegrenzung: Wie schnell die Suchmaschine Seiten abrufen kann, ohne die Leistung der Website zu beeinträchtigen.
• Crawl-Nachfrage: Wie stark die Suchmaschine eine Website crawlen möchte, gesteuert durch Popularität, Aktualität und wahrgenommenen Wert.

Für kleine Websites ist das Crawl-Budget selten ein Problem. Für große E-Commerce-Plattformen oder Content-Seiten mit Millionen von URLs wird die Verwaltung des Crawl-Budgets jedoch essenziell – verschwendete Crawls auf Duplikatinhalte, Facettennavigation-Parameter oder minderwertige Seiten bedeuten weniger Ressourcen für die Seiten, die wirklich zählen.

Die wichtigsten Suchmaschinen und ihre Crawler

Jede große Suchmaschine betreibt ihren eigenen Crawler mit einem eindeutigen User-Agent-String – eine Kennung, die der Bot mit jeder HTTP-Anfrage sendet, damit Server wissen, welcher Crawler zu Besuch ist.

Google betreibt auch spezialisierte Crawler für verschiedene Inhaltstypen – Googlebot Image crawlt Bilder, Googlebot Video verarbeitet Videoinhalte, Googlebot News zielt auf Nachrichtenartikel ab, und AdsBot überprüft die Qualität von Landingpages für Google Ads.

Newsletter abonnieren

Erfahren Sie als Erster von neuen Funktionen und Produkt-Updates.

E-Mail-Adresse

Abonnieren

Wie erkennt man einen Google-Crawler?

Die Identifizierung, ob ein Besucher wirklich Googlebot ist, erfordert mehr als nur die Überprüfung eines User-Agent-Strings, da diese Strings gefälscht werden können. So überprüfen Sie einen Google-Crawler:

1. Überprüfen Sie den User-Agent-String in den Serverprotokollen auf Googlebot.
2. Führen Sie eine Reverse-DNS-Abfrage der IP-Adresse durch. Sie sollte auf eine googlebot.com- oder google.com-Domain auflösen.
3. Führen Sie eine Forward-DNS-Abfrage dieser Domain durch, um zu bestätigen, dass sie auf dieselbe IP-Adresse verweist – eine Technik namens Reverse-Forward-DNS-Verifikation.

Google stellt eine offizielle Dokumentation mit seinen IP-Bereichen unter google.com/bot.html zur Verfügung. Jeder Besucher, der behauptet, Googlebot zu sein, aber diese Überprüfungsschritte nicht besteht, ist ein gefälschter Bot und sollte als verdächtig behandelt werden.

Können Suchmaschinen-Crawler auf Bilder und Videos zugreifen?

Ja – jedoch mit Einschränkungen. Große Suchmaschinen betreiben spezielle Crawler für Nicht-Text-Inhalte:

• Googlebot Image crawlt Bilddateien und liest zugehörige Alt-Texte, Dateinamen und den umgebenden Seitenkontext, um zu verstehen, was das Bild darstellt.
• Googlebot Video verarbeitet Videoinhalte und sucht nach strukturierten Daten-Markups wie dem VideoObject-Schema, um Titel, Beschreibung, Vorschaubild und Dauer zu erfassen.
• Google kann Dateitypen wie PDFs, Microsoft Office-Dokumente und reine Textdateien indexieren.

Allerdings können Crawler Bilder nicht so „sehen“ wie ein Mensch oder Videos „ansehen“. Sie verlassen sich vollständig auf Textsignale – Dateinamen, Alt-Attribute, Bildunterschriften, umgebenden Fließtext und strukturierte Daten –, um die Relevanz zu bestimmen. Inhalte hinter Login-Wänden, Paywalls oder in komplexen JavaScript-Playern werden möglicherweise überhaupt nicht gecrawlt.

Web-Crawler vs. Web-Scraper: Was ist der Unterschied?

Diese Begriffe werden oft synonym verwendet, beschreiben aber unterschiedliche Dinge:

Wie entdecken Suchmaschinen neue Seiten?

Suchmaschinen finden neue Seiten über mehrere Kanäle:

• Erneutes Crawlen bekannter URLs: Wenn eine bereits indexierte Seite neue Links hinzufügt, folgt der Crawler ihnen.
• XML-Sitemaps: Über die Google Search Console oder die Bing Webmaster-Tools eingereicht, teilen sie der Suchmaschine genau mit, welche URLs gecrawlt werden sollen.
• Backlinks: Wenn eine externe Seite auf eine Seite verlinkt, die die Suchmaschine noch nicht gesehen hat, wird dieser Link zu einem Entdeckungspfad.
• URL-Einreichungen: Tools wie das URL-Inspektionstool von Google ermöglichen es Website-Betreibern, ein sofortiges Crawling einer bestimmten Seite anzufordern.
• Soziale Signale und RSS-Feeds: Obwohl weniger direkt, können Links, die auf sozialen Plattformen geteilt oder in RSS-Feeds veröffentlicht werden, die Entdeckung beschleunigen.

Der schnellste Weg, eine neue Seite crawlen zu lassen, ist die direkte Einreichung ihrer URL über die Search Console und die Sicherstellung, dass sie von einer bereits indexierten Seite derselben Website verlinkt ist.

Wie oft besuchen Crawler Webseiten erneut?

Es gibt keinen festen Zeitplan. Die Wiederbesuchshäufigkeit hängt ab von:

• Aktualisierungshäufigkeit: Die Startseite einer Nachrichtenseite wird möglicherweise alle paar Minuten gecrawlt; eine statische „Kontakt“-Seite kann Monate zwischen den Besuchen liegen.
• Autorität und Popularität: Websites mit starken Backlink-Profilen und hohem Traffic werden häufiger gecrawlt.
• Seitengeschwindigkeit: Schnell ladende Seiten fördern häufigeres Crawling, da sie weniger vom Crawl-Budget pro Seite verbrauchen.
• Fehlerraten: Websites, die häufige Serverfehler (5xx-Codes) zurückgeben, werden seltener gecrawlt – der Crawler zieht sich zurück, um Ressourcenverschwendung zu vermeiden.

Website-Betreiber können die Wiederbesuchshäufigkeit beeinflussen, indem sie regelmäßig Inhalte veröffentlichen, schnelle Server-Antwortzeiten aufrechterhalten und aktualisierte Sitemaps einreichen. Letztendlich entscheidet der Crawler jedoch selbst über seinen Zeitplan basierend auf den von ihm beobachteten Signalen.

Welche Deep-Web-Inhalte Crawler nicht erreichen

Crawler haben im Allgemeinen keinen Zugriff auf:

• Passwortgeschützte Seiten und Inhalte nur für Mitglieder
• Inhalte hinter Paywalls oder Abonnement-Sperren
• Seiten, die dynamisch nach dem Absenden eines Formulars generiert werden (z. B. Flugsuchergebnisse)
• Intranets und private Unternehmensnetzwerke
• Inhalte in nicht standardisierten Formaten, die der Crawler nicht parsen kann

Ein Crawler sieht nur, was öffentlich zugänglich und verlinkt ist. Wenn eine Seite zur Darstellung eine Authentifizierung oder Benutzerinteraktion erfordert, ist sie für Suchmaschinen praktisch unsichtbar – es sei denn, der Website-Betreiber gewährt explizit Zugriff oder bietet einen alternativen Pfad, wie z. B. eine Sitemap mit der URL in Kombination mit strukturierten Daten, die den Inhalt beschreiben.

Warum Web-Crawler im großen Maßstab scheitern

Einen Crawler zu bauen, der für ein paar hundert Seiten funktioniert, ist unkompliziert. Einen zu bauen, der für Milliarden funktioniert, ist ein völlig anderes Problem. Häufige Fehlerpunkte sind:

• Bot-Erkennung und IP-Sperrung: Aggressive Crawler werden von Firewalls, CDNs und Anti-Bot-Diensten erkannt und blockiert. Rotierende IPs und die Einhaltung von Ratenbegrenzungen sind unerlässlich.
• Kosten für JavaScript-Rendering: Das Rendern von Single-Page-Anwendungen im großen Maßstab erfordert Headless-Browser, die rechenintensiv sind. Ein Crawler, der jede Seite in einer vollständigen Browser-Umgebung rendert, ist um Größenordnungen langsamer als einer, der statisches HTML parst.
• Duplikatinhalte und URL-Kanonisierung: Derselbe Inhalt unter mehreren URLs verschwendet Crawl-Budget und verschmutzt den Index. Crawler müssen Duplikate in Echtzeit erkennen und zusammenführen.
• Crawl-Fallen: Manche Websites generieren unendlich viele eindeutige URLs durch Kalender-Widgets, Facettennavigation oder Sitzungs-IDs. Ein Crawler ohne Schutz gegen diese Fallen crawlt ewig, ohne neue Inhalte zu finden.
• Schiere Menge: Es gibt Billionen von Seiten im Web. Selbst Google kann mit seiner enormen Infrastruktur nicht alles crawlen – es muss ständig priorisieren.

Für die meisten Unternehmen ist der Betrieb eines groß angelegten Web-Crawlers ohne verwaltete Infrastruktur nicht praktikabel. Die Entscheidung läuft in der Regel darauf hinaus, ein vorhandenes Tool zu verwenden, anstatt eines von Grund auf neu zu entwickeln.

Ist Web-Crawling legal?

In den Vereinigten Staaten ist das Crawlen öffentlich zugänglicher Seiten im Allgemeinen legal. Mehrere Gerichtsurteile – darunter hiQ Labs v. LinkedIn – haben bestätigt, dass das Crawlen öffentlicher Daten unter bestimmten Umständen legal sein kann.

Die Legalität hängt jedoch von mehreren Faktoren ab:

• Ob der Inhalt öffentlich zugänglich ist: Das Crawlen von Seiten hinter einer Authentifizierung ohne Erlaubnis ist mit ziemlicher Sicherheit illegal.
• Ob der Crawler robots.txt respektiert: Obwohl robots.txt rechtlich nicht bindend ist, kann das Ignorieren als Beweis für Böswilligkeit in einem Rechtsstreit verwendet werden.
• Der Zweck des Crawlings: Das Scraping von Wettbewerbsinformationen kann rechtliche Herausforderungen nach sich ziehen, selbst wenn die Daten öffentlich sind.
• Zuständigkeit: Die Gesetze variieren von Land zu Land.

Die Unterscheidung zwischen Crawling zur Suchindexierung (weithin akzeptiert) und Scraping zur kommerziellen Datenextraktion (rechtlich umstrittener) ist wichtig. Die meisten legitimen Suchmaschinen-Crawler bewegen sich in eindeutig legalem Terrain.

Ist ChatGPT ein Web-Crawler?

Nein – ChatGPT selbst ist kein Web-Crawler. ChatGPT ist ein dialogbasiertes KI-Modell, das Antworten generiert. OpenAI betreibt jedoch einen separaten Web-Crawler namens GPTBot, der öffentliche Webseiten crawlt, um Trainingsdaten für KI-Modelle zu sammeln und Live-Abruffunktionen in einigen OpenAI-Produkten zu unterstützen.

GPTBot identifiziert sich mit dem User-Agent-Token GPTBot und respektiert robots.txt-Anweisungen. Website-Betreiber, die GPTBot gezielt blockieren möchten, können ihrer robots.txt-Datei Folgendes hinzufügen:

User-agent: GPTBot
Disallow: /

Relevanz für Affiliate-Vermarkter, Werbetreibende und Programm-Manager

Suchmaschinen-Crawler betreffen direkt alle Teilnehmer des Affiliate-Marketing-Ökosystems. Wenn eine Seite nicht gecrawlt wird, rankt sie nicht, und wenn sie nicht rankt, generiert sie keinen organischen Traffic – und keine Affiliate-Einnahmen.

Für Affiliate-Publisher

Die Content-Site eines Publishers steht und fällt mit der Crawlbarkeit. Jede Produktbewertung, jeder Vergleichsleitfaden oder jede Angebotsübersicht muss von Crawlern auffindbar sein. Häufige Publisher-Fehler, die das Crawling blockieren, sind:

• Verwenden von JavaScript zum Laden von Affiliate-Links oder Produktdaten ohne serverseitiges Rendering.
• Versehentliches Blockieren wichtiger Inhaltsverzeichnisse in robots.txt.
• Vernachlässigung der internen Verlinkung, sodass wertvolle Seiten als Waisen ohne Crawl-Pfad zurückbleiben.
• Erstellung dünner oder doppelter Inhaltsseiten – wie nahezu identischer Produktlisten – die das Crawl-Budget verschwenden.

Publisher sollten überprüfen, ob ihre wertvollsten Seiten im Index-Coverage-Bericht der Google Search Console erscheinen und dass keine noindex-Tags oder robots.txt-Regeln sie versehentlich blockieren.

Für Werbetreibende und Händler

Ein Werbetreibender, der ein Affiliate-Programm betreibt, benötigt gecrawlte und indexierte Produktseiten, damit Publisher auf live sichtbare Seiten verlinken können. Wenn die Produktseiten eines Händlers nicht im Google-Index sind, haben Publisher keine Möglichkeit, Traffic dorthin zu senden. Zu den spezifischen Risiken gehören:

• Facettennavigation, die Tausende von nahezu identischen URLs generiert und das Crawl-Budget verbraucht.
• Produktseiten, die nicht mehr auf Lager sind und 404-Fehler zurückgeben, was Crawlern eine schlechte Website-Gesundheit signalisiert.
• JavaScript-gerenderte Preis- oder Verfügbarkeitsdaten, die Crawler nicht parsen können.

Händler sollten saubere URL-Strukturen pflegen, Produkt-Sitemaps einreichen und die Crawl-Statistiken in der Search Console überwachen, um Probleme zu erkennen, bevor sie Publisher-Partner betreffen.

Für Affiliate-Programm-Manager

Programm-Manager stehen zwischen Händlern und Publishern und sollten das Crawler-Verhalten verstehen, um Sichtbarkeitsprobleme zu beheben. Wenn ein Publisher meldet, dass die Produktseite eines Händlers „bei Google nicht angezeigt wird“, liegt das Problem oft beim Crawling oder der Indexierung – nicht beim Ranking. Praktische Schritte sind:

• Überprüfen mit dem Google-Suchoperator site:, ob die Seite indexiert ist.
• Überprüfen der robots.txt-Datei auf versehentliche Blockaden.
• Sicherstellen, dass die Seite mindestens einen internen Link von einer indexierten Seite hat.
• Einreichen der URL über das Inspektionstool der Google Search Console.
• Bestätigen, dass die Seite schnell lädt und einen 200-HTTP-Statuscode zurückgibt.

Ein Programm-Manager, der grundlegende Crawl-Probleme diagnostizieren kann, stiftet auf beiden Seiten der Affiliate-Beziehung direkten Mehrwert – indem er Händlern hilft, technische Probleme zu beheben, und Publishern bestätigt, dass die von ihnen beworbenen Seiten auffindbar sind.