Web Design Glossar
Begriffe aus dem Internet verständlich erklärt
Crawler
Crawler ist eine Bezeichnung für ein Programm der Suchmaschinen. Crawler werden auch als Spider oder Rotot bezeichnet die das Web selbstständig durchsuchen.
Der Crawler hat die Aufgabe bereits indizierte Web-Seiten zu verifizieren und neu angemeldete Sites zu spidern, damit die Seiten in den Suchmaschinenindex aufgenommen werden können. Die Qualität der Crawler ist von Suchmaschine zu Suchmaschine sehr unterschiedlich. Manche Crawler beherrschen das Http-Protokoll nicht richtig oder können relative Pfad- und Dateinamen einer Präsenz nicht richtig auflösen.
Einige Crawler verirren sich sogar in einer Endlos-Schleife und produzieren so nutzlosen Traffic der später vom Webmaster teuer bezahlt werden muss.
