Google webmasterhulpprogramma / robot.txt

[Bruce The Boss]

Hallo,

Ik heb een vraag over het Google webmasterhulpprogramma.

Ik heb enige tijd geleden een "joomla" site gemaakt in een tijdelijke directory:

www.vvohapert.nl/joomla

Nu heb ik de site definitief geplaatst in de root van www.vvohapert.nl

Ik heb een sitemap aangemaakt en deze geüpload bij het Google webmasterhulpprogramma.

Nu geeft het programma echter aan dat er bijna 3.000 links zijn die niet gevonden kunnen worden.

99% daarvan staat echter in de directory /joomla (b.v. deze link: http://www.vvohapert.nl/joomla/compo...onth=09&day=16
Nu heb ik ook een robot.txt aangemaakt met de onderstaande links:

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /component/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /joomla/
Disallow: /www.vvohapert.nl/joomla/

Ik heb dus aangegeven dan alles in /joomla niet hoeft te worden meegenomen. Maar toch geeft hij bijna 3.000 links door die allemaal in die directory staan.

Doe ik toch nog iets fout?

 

[llevering]

Google heeft toen het nog wel toegang had tot /joomla deze adressen al geïndexeerd. Als je server draait op Apache kan je een .htaccess bestand gebruiken om google (en eventuele gebruikers) automatisch door te sturen naar de pagina's zonder /joomla.

Ik ben geen .htaccess expert maar ik denk dat het volgende kan werken:

  RewriteCond %{REQUEST_URI} ^/joomla/.*$  
  RewriteRule ^(.*)$ /$1 [R=301,L]

De bovenstaande code doet het volgende. Het kijkt of de aanvragen een pagina opzoekt in de map /joomla. Vervolgens wordt deze aanvraag doorgestuurd naar naar vvohapert.nl/[aanvraag] en krijgt als code mee dat de site permanent verplaatst is. Deze code vertelt Google dat het z'n links moet aanpassen naar het nieuwe adres.

Wees wel voorzichtig want het kan je website onbereikbaar maken. Je moet deze code in bestandje met de naam .htaccess in de 'root', dus op www.vvohapert.nl/ plaatsen. Werkt het niet, dan moet je het bestandje gewoon gelijk leegmaken/weggooien dan kan iedereen weer gewoon op je website.

 

[Bruce The Boss]

Google heeft toen het nog wel toegang had tot /joomla deze adressen al geïndexeerd

Dus als het goed is zouden die na verloop van tijd ook weer moeten verdwijnen?

 

[Tha Devil]

Als je niets meer in die map hebt staan (of dat de map uberhaupt niet meer bestaat) kun je ook gewoon een aanvraag bij Google doen om de resultaten te verwijderen.

Kan gewoon via het webmasterhulpprogramma.

Voor gebruikers zou je inderdaad iets van een redirect moeten creeëren, wel zo gebruikersvriendelijk

 

[Bruce The Boss]

Als je niets meer in die map hebt staan (of dat de map uberhaupt niet meer bestaat) kun je ook gewoon een aanvraag bij Google doen om de resultaten te verwijderen.

Kan gewoon via het webmasterhulpprogramma.

Het bovenstaande heb ik gedaan maar nog even afwachten tot het is verwerkt.

Maar als ik het goed begrijp zouden de meldingen ook weer vanzelf moeten verdwijnen omdat Google weer opnieuw gaat indexeren en ze dan toch niet meer vind.

Om de hoeveel tijd wordt er geïndexeerd?

Klopt dat?

 

[Tha Devil]

De exacte werkwijze weet ik niet, ik vermoed dat de aanvraag wordt beoordeeld op juistheid.

Als alles klopt, de links bestaan echt niet meer dan denk ik dat je gewoon uit de index wordt verwijderd. Handmatig dus.

Wanneer je aanvraag wordt geweigerd wordt er gelukkig een duidelijke reden aangegeven en ook wat je exact moet doen om wel door de "keuring" te komen