Was sind Crawler?
Ein Crawler ist ein Programm, das Daten und Informationen aus dem Internet sammelt, indem es Webseiten besucht und Seiten liest. Crawler werden von Suchmaschinen eingesetzt und sind auch als Spinnen bekannt. Dieses Programm speichert alle Daten und externen und internen Links in einer Datenbank. Es speichert Informationen über den Inhalt und Titel von Webseiten, Meta-Markierungen und viel mehr. Es hilft bei der Webseiten-Indexierung, da es jede Webseite, Seite für Seite, durchsieht, bis alle Seiten indexiert wurden.