zoekmachine spiders

[Ressonance]

Hallo allemaal!!

Als een spider op mijn pagina komt download hij altijd volgens mijn logfile altijd maar 1 regel, terwijl bezoekers gemiddeld wel 30 files (30 regels) downloaden. Hoe kan dit? Vind de robot de weg misschien niet op de site of hoort dit zo?? alvast bedankt.

 

[caveman]

Regel? Ik dacht het nodige te kennen, maar wat bedoel je met 'regel downloaden'?

Hier alle info over crawlers, spiders en robots: http://www.robotstxt.org/wc/robots.html en hoe je die beïnvloedt.