Als Crawler, auch Spider oder Robot, wird ein Programm der Suchmaschinenbetreiber bezeichnet, das Websites liest und an den Index weiterleitet. Dabei folgt der Crawler Links von einer Website zur nächsten und folgt der internen Verlinkung einer Website, um alle Seiten der Website zu erfassen.
