AlltheWeb mag mich nicht
AlltheWeb weigert sich bisher standhaft, die Webmaster Homepage zu indizieren. Zwar sind einige wenige Seiten dieses Blogs aufgenommen, aber die eigentliche Hauptdomain ist dort unbekannt, obwohl haufenweise Links vorhanden sind. Anscheinend hat es der Vorbesitzer dieser Domain erfolgreich geschafft, diese mit seinen Weiterleitungen bei AlltheWeb dauerhaft zu verbrennen. Hat jemand eine Idee, wie ich das wieder heile kriege?
Oktober 3rd, 2003 at 18:48
Ich habe ebenfalls Probleme mit AllTheWeb. Anfangs hat der Bot immer nur meine robots.txt angeschaut und das über mehrere Monate. Vor ein paar Wochen habe ich mal eine leere robots.txt hochgeladen, wie in einem englischem Forum empfohlen wurde.
Als dann der Bot wiederkam, hat er anschließend auch ein paar Unterseiten angeschaut, die auch im Index zu finden sind. Die Startseite wurde inzwischen auch gecrawelt, ist aber noch nicht drin:(
Mal schauen, was als nächstes passiert…
Oktober 4th, 2003 at 11:35
Auch merkwürdig. War deine Robots.txt denn korrekt? Also bei mir ist der FAST Crawler noch gar nicht vorbeigekommen, daran kann´s wohl nicht liegen.
Oktober 4th, 2003 at 11:42
Korrekt war sie, aber vielleicht ein bisschen zu groß. Hatte ein paar böse Bots reingesetzt, ist aber leider nutzlos, die halten sich eh nicht dran.
Was mich wundert ist, das kein Crawler von Fast da war und wieder 2 Seiten neu drin sind…