hoe krijg ik de tag (of meta tag) robot.txt in de broncode van mijn site?

[wfbroekhuis]

geacht forum,
ik wil graag dat alle zoekmachines mijn site kunnen indexeren. moet daarvoor de tag robot.txt op de sitebron staan?
zoja, hoe zit die tag er dan precies uit? en is het een metatag of niet?

 

[Milenko]

Hi,

Kijk eens op http://www.robotstxt.org/meta.html en http://www.robotstxt.org/robotstxt.html

Conclusie:
De metatag voor robots is veroudert en hoeft niet altijd te werken.

Het robots.txt bestandje werkt beter en alle "gangbare" zoekmachines zullen deze eerst controleren, alvorens zij een pagina indexeren.

 

[wfbroekhuis]

robot

sorry, met het laatste antwoord kan ik niets. nu weet ik nog nit wat ik precies moet invullen.

 

[Milenko]

Hi,

U kunt in de root van uw website (het mapje genaamd htdocs, httpdocs, public_html of iets in die trant) een bestandje "robots.txt" plaatsen. Als u daar het volgende in plaatst, wordt uw hele site geïndexeerd:

User-agent: *
Allow: /