sitemap.xml en robots.txt

Status
Niet open voor verdere reacties.

0181

Gebruiker
Lid geworden
16 jan 2014
Berichten
64
Hallo,

Even een vraag ik ben een website aan het maken met 9 pagina's maar ik wil dat Google er maar 3 indexeer. Ik heb de pagina's die niet geïndexeerd mogen worden toegevoegd aan robots.txt maar moet ik deze dan ook van de sitemap.xml af halen?

Alvast bedankt!
 
De robots.txt file zorgt voor (normale) crawlers zoals google, yahoo dat bepaalde pagina's niet geindexeerd worden.
De sitemap.xml maakt het crawlers makkelijk om pagina's te indexeren maar zal altijd voorang geven aan robots.txt

Het probleem is dat google pagina urls gaat indexeren als hij een aanwijziging heeft van een bestaande pagina, en sitemap.xml
is de wegenkaart die zegt dat er wel degelijk een pagina is.

Source: https://support.google.com/webmasters/answer/156449?hl=en

While Google won't crawl or index the content of pages blocked by robots.txt, we may still index the URLs if we find them on other pages on the web. As a result, the URL of the page and, potentially, other publicly available information such as anchor text in links to the site, or the title from the Open Directory Project (www.dmoz.org), can appear in Google search results.

Dus als je echt niet wil dat een bepaalde pagina op google komt zal je dit moeten deleten uit sitemap.xml , maar google zal meestal wel een weg vinden :/

- Maximvdw
 
Laatst bewerkt:
Dus kortom gezegd. robots.txt is voldoende voor de basis. Ik kan natuurlijk in de sitemap de prio van de inhoud van de andere pagina's omlaag gooien!

En idd Google vindt alles wel als het moet dusja volop blokkeren schiet dan ook niet op!
 
Status
Niet open voor verdere reacties.
Terug
Bovenaan Onderaan