Robot ist ein anderer Ausdruck für die Crawler oder Spider der Suchmaschinen. Der Robot besucht eine Website und crawlt diese, um die Seite in den Index der jeweiligen Suchmaschine aufnehmen zu können. Eine Robot freundliche Seitenstruktur optimiert diesen Vorgang und ist ein Punkt, der bei der On – Page Optimierung einer Website zu beachten ist.