Web Design Glossar
Begriffe aus dem Internet verständlich erklärt
Robot
Ein Robot ist ein Programm, dass automatisiert Web-Seiten durchsucht.In der Regel werden solche Programme von den Suchmaschinenbetreibern los geschickt um das World Wide Web nach neuen oder veränderten Web-Seiten zu durchsuchen.
Diese Client Programme werden auch als Spider oder Crawler bezeichnet. Im Web tummeln sich auch eine ganze Menge Robots, die von den Webmastern gar nicht so gerne gesehen werden. Diese Robots durchsuchen das Web nach Email-Adressen um dann den so aufgebauten Datenbestand zu vermarkten. Dieser dient dann den Spamern als Datenbasis für ihre Serienmails.
Bei großen Web-Seiten können die verschiedenen Robots eine ganze Menge Traffic verursachen, so dass die großen Portale gezwungen sind Datenbanken mit so genannten White-List aufzubauen um nur jedem gern gesehener Robot den zutritt zum Web zu gewähren.
