Erste Schritte

Am Anfang ist es also wichtig, dass diese Crawler eine Webseite auch richtig lesen können und die Inhalte rausfiltern können. Crawler lesen eine Homepage nicht so, wie es unsere Augen machen, sondern sehen den Quelltext. Animationen, Flash, PDF-Dokumente, etc. benötigen eine besondere Form der Optimierung, um vom Crawler berücksichtigt zu werden. Kann ein Crawler Ihre Webseite nicht ordentlich entschlüsseln, so wird Ihre Webseite nie ganz nach oben wandern.