robots.txt

Status
Niet open voor verdere reacties.
W

weites

Gebruiker
Lid geworden
17 jan 2005
Berichten
45
Hallo

Moet je nu juist wel of juist niet een bestand "robots.txt" in je site plaatsen?

Ik heb op advies het volgende gedaan:
nw pagina in frontpage maken en genaamd: robots.txt

in code aangevuld: tussen de heads:

<head>
User-agent: *
Disallow: *
</head>

of

<head>
User-agent: *
Disallow: /mapnaam/
</head>


wanneer ik vervolgens na uploaden kies voor www.scrubtheweb.com metataganalyzer krijg ik nog steeds als antwoord:
Note: this side does not provide the robots.txt file or this file is not constructed properly.!

Wat doe ik fout?

fred
 
robots.txt is een gewoon textbestand dat je met notepad kunt maken, en met frontpage uploaden naar je root.

User-agent: *
Disallow: /

zorgt ervoor dat alle (*) zoekmachines vanaf de root (/) niks meer mogen. Als je alleen een map wilt uitsluiten kun je het met /mapnaam/ doen.

Als je het weglaat gaan zoekmachines er van uit dat ze je site mogen doorzoeken.


Vr.Gr. Egel.

[Bijlage robots.txt 28 bytes]
 

Bijlagen

  • robots.txt
    28 bytes · Weergaven: 22
dank voor je antwoord.

Hieruit concludeer ik, dat het helemaal niet nodg is om zo`n txt bestandje te maken, indien je wilt, dat je gehele site doorzocht wordt.

Blijf ik met de vraag zitten, als je het bestandje wel of foutief hebt, dat de meta analyser zegt, dat het bestand er niet is of niet correct is.
Moet je dan dus wel of niet....

fred.
 
Moet je nu juist wel of juist niet een bestand "robots.txt" in je site plaatsen?
Klik om te vergroten...

Moet je wel of geen mayo op je patat? Het is volledig eigen keus en ligt aan je wensen.
Het is niet vereist.
 
Status
Niet open voor verdere reacties.
Steun Ons

Nieuwste berichten

Terug
Bovenaan Onderaan