Es handelt sich hierbei, ähnlich wie beim Crawl, um die Fähigkeit selbstständig die Unterseiten einer Webseite zu durchsuchen. Die Verzeichnistiefe kann bei manchen Webseiten eine Rolle spielen. Ein Deep Crawl sorgt dafür, dass auch Unterseiten indexiert und als eigenständige Seiten bewertet werden. Dies kann bei großen und umfangreichen Webseiten einige Stunden in Anspruch nehmen.
Wie Deep Crawls funktionieren
Deep Crawling beginnt auf der Startseite einer Website und folgt dann allen Links zu anderen Seiten der Website. Das Ziel ist es, so viele Seiten wie möglich zu crawlen, damit sie indiziert und in die Suchergebnisse aufgenommen werden können.
Deep Crawling hat vor allem zwei Vorteile:
- Erhöhte Sichtbarkeit in den Suchergebnissen: Je mehr Seiten indiziert werden, desto größer sind die Chancen, bei einer Suche nach Stichwörtern, die mit der jeweiligen Website zusammenhängen, aufzutauchen.
- Umfassendere Datenerfassung: wenn alle Seiten der Website gecrawlt werden, erhalten Nutzer*innen ein vollständigeres Bild davon, wie die Website insgesamt abschneidet. Dies kann hilfreich sein, um Bereiche zu identifizieren, in denen Verbesserungen vorgenommen werden müssen.
Ein weiterer wichtiger Aspekt des Crawlings ist das Crawl-Budget.
Weitere Texte zum Thema:
