robots.txt: Kleine Ursache, große Wirkung

Das neue Design unserer Webseite ist jetzt seit gut 2 Wochen online, die Reaktionen darauf waren überaus positiv. Lediglich ein Kunde teilte uns mit, die Seite sei wohl "gehackt" worden, da jetzt auf der Startseite Früchte zu sehen sind... aber keine Sorge, wir sind nicht unter die Obsthändler gegangen.

Die Früchte stehen vielmehr für die unterschiedliche Ausstattung der Hostingpakete. In ihnen finden sich drei Eigenschaften der Angebote wieder: eine davon ist die 'Größe' - wer findet die beiden anderen?

Aber zurück zum Thema: bei einem kompletten Umbau der Seite, bei der sich auch alle URLs ändern, fragt man sich natürlich wie sich das auf die Indexierung bei Google auswirkt. Die Startseite war ja bereits nach wenigen Stunden im Index, viele andere Seiten tauchten aber noch nicht auf. Dabei hatten wir mit entsprechenden Regeln in der .htaccess Datei Umleitungen auf die neuen URLs eingerichtet.

Ein Blick auf die Google Webmaster-Tools brachte die Ursache an den Tag: dort fand sich bei 182 Seiten der Hinweis, dass der Zugriff durch Regeln in der robots.txt Datei eingeschränkt sei. Das war sicher nicht in unserem Sinn. In der Datei befand sich der Eintrag: 

User-agent: *
Disallow: /typo3

Damit wollten wir eine eventuelle Indexierung des typo3-Verzeichnisses vermeiden. Allerdings wirkt sich das auf alle Verzeichnisse aus, die mit typo3 beginnen - so auch "typo3-cms", in dem sich ein Großteil der Inhalte befindet. Eine Änderung auf

Disallow: /typo3/

löste das Problem, so dass demnächst wieder alle Seiten über die Google Suche erreichbar sein sollten.