Zitat von
KlausK
Gibt es da einen Fehlercode zu? Und welche Seiten sind das? Und wann war das?
Es ist völlig normal, dass in Google Webmaster-Tools Fehler angezeigt werden.
Du willst irgendwo im Internet eine Seite öffnen, geht aber nicht. Nach ein paar Sekunden ziehst du weiter. Genauso macht das der Google-Bot auch.
Angefangen im DataCenter in den USA muss der Bot über etliche Server, DNS, Router, Nodes, usw. bis er endlich auf deiner Seite, z.B. index.html ist.
Es braucht nur einer der genannten Knotenpunkte etwas überlastet sein und schon hängt die Anfrage. Für den Bot ist das dann nach wenigen Sekunden erstmal ein 404.
Heute sind es diese Seiten, die nicht erreichbar waren, morgen sind es andere. Es ist eher selten, dass gar keine Fehlermeldungen erscheinen.
Die robots.txt ist dazu da, Suchmaschinen anzuweisen, welche Seiten sie nicht indexieren dürfen. Die allermeisten Suchmaschinen halten sich auch daran.
Das hat den Vorteil, dass man Google damit nur die wirklich wichtigen und interessanten Seiten anbietet, indem man ihm den Müll vorenthält, was sich widerum positiv auf das Ranking auswirkt.
Kein Mensch interessiert sich nämlich für die fax.html, die cookie_usage.php oder den Inhalt des Cache-Verzeichnisses.
Wer nun aber meint, all die von Gambio in die robots.txt eingetragenen Dateien und Ordner seien extrem wichtig für die Menschheit, der kann natürlich gerne die robots.txt löschen.
Alle anderen, die nur qualitative Seiten anbieten möchten und somit auch für Google interessant und wichtig erscheinen möchten, sollten die robots.txt immer schön pflegen bzw. aktuell halten!
Wenn der Google-Bot zuvor eine Seite gecrawlt hatte, die nun aber durch einen Eintrag in robots.txt verboten wird, dann wird natürlich eine entsprechende Fehlermeldung ausgegeben.
Das passiert, wenn robots.txt und sitemap.xml ständig geändert werden, mal fehlen und plötzlich wieder da sind, oder sogar widersprüchlich sind.
Die robots.txt enthält die explizit verbotenen Dateien und die sitemap.xml gibt explizit die zu indexierenden Seiten plus einige Infos an.
Beides will gepflegt werden, wie ein neues paar Schuhe!
