robot.txt bestand

[willem008]

goede dag

Ik heb een robot.txt bestand gemaakt met het volgende erin is dit bestand zo
goed dat het de zoekmachine op het bestaan van mijn sitemap wijst.

Ik krijg via het programa hulpprograma' voor webmaster in mijn google acount nog steeds
een 404 fout, of wil dat wat anders zegggen.

Dit staat in mijn rotot.txt bestand en staat in mijn root

User-agent:*
Disallow:
Sitemap:http://www.wlvdmeer-montage.nl/sitemap.xml

 

[pelikano]

Volgens mij wil je dat je site gevonden wordt door zoekmachines....

dan moet je dus geen robot.txt gebruiken. Dit bestand wordt gebruikt om juist bepaalde pagina's van een website uit te sluiten van gevonden worden...

Lees de wiki voor verdere uitleg.

Als je je site wilt aanmelden bij bijvoorbeeld google, kun je dat hier doen.

maar er zijn ook sites waarbij je site gelijk voor tientallen zoekmachines wordt aangemeld.

 

[kenikavanbis]

robots.txt is nodig voor snel te vertellen welke paginas de robot mag doorzoeken
en ziet er zo uit (vieuw.php5 is mijn aanroeppagina)
User-agent: *
Disallow: /functies/
Allow: /vieuw.php5?file=Nederlands/gastenboek
Allow: /vieuw.php5?file=Nederlands/about
Allow: /vieuw.php5?file=Nederlands/links
Disallow: /vieuw.php5?file=Nederlands/Add