13.05.2004, 21:02
Zitat:Original von nobody
bei mir war bislang nur der msnbot, erst nach der robots.txt ist der google bot gekommen
Ist Zufall. Der Googlebot kommt auch ohne robots.txt
Die robots.txt sagt den spidern nur, was sie indexieren dürfen und was nicht.
Trotzdem schön, dass deine Seiten nun auch mal langsam von den Suchmaschinen besucht werden!