Robot Liste von Suchmaschinen
#1
Hi Leute,

Frage, weiss jemand wo man eine aktuelle Roboter Liste von Suchmaschinen findet?

Also z.B. das ich Sie identifizieren kann.
So kommt z.B. der Googlebot per HTTP Headerdaten auf die Seite:
^Googlebot/2\.\d \((\+)*http://www.googlebot.com/bot.html\)$

Und ich möchte jetzt die Header Daten von mehreren Roboter, hab zwar eh ziemlich viele, wär aber trotzdem nützlich.

mfg
Zerogiven
  Zitieren
#2
http://www.psychedelix.com/agents.html

da is ca alles was es gibt - robots, spiders, crawler und browser
  Zitieren
#3
Wow cool danke

@balu: Nein das geht nicht, du kannst aber mit dieser Tabelle Roboter identifizieren. z.b. Googlebot = http://www.google.com,...

mfg
  Zitieren


Gehe zu:


Benutzer, die gerade dieses Thema anschauen: 1 Gast/Gäste