Unter Crawler oder auch Web-Crawler werden Software-Programme verstanden, die das Internet systematisch durchsuchen und nach Inhalten „crawlen“. Sie analysieren und indizieren Inhalte wie Texte, Bilder und Videos. Suchmaschinen sind die primären Provider, die Crawler zu Indexierung von Webseiten nutzen.
Dabei werden auch die Links der Webseiten untersucht und gecrawled. In der Suchmaschinenoptimierung ist deshalb das sogenannte Cross-Linking (zu Deutsch: Querverlinkung, bpsw. auf thematisch relevante Unterseiten) besonders wichtig.
Weitere Texte zum Thema:
