Ik kreeg vandaag een mailtje van mijn hostingprovider dat mijn dataverkeer bijna zijn limit heeft bereikt. Men zei dat het wellicht door Googlebot komt en ze schreven dat je je hiervoor kunt beschermen. Waar en hoe kan ik dit doen? Alvast dank.
Googlebot uitschakelen
- Onderwerp starter erwin32
- Startdatum
- Status
Wel in het engels: http://www.google.com/support/webmasters/bin/answer.py?answer=35302
Dus als ik goed begrijp moet ik het volgende als robots.txt bestandje opslaan en in de root zetten?
User-agent: Googlebot
Disallow: /
Zover ik weet wel ja.
Hier staat nog meer info voor als je meer wilt weten
http://www.google.com/support/webmasters/bin/answer.py?answer=40360
Hier staat nog meer info voor als je meer wilt weten
http://www.google.com/support/webmasters/bin/answer.py?answer=40360
Denk niet dat je dat kunt controleren. Ik denk dat de tijd het zal leren of je dataverkeer weer de limiet bereikt. Het kan natuurlijk ook door andere bots komen want buiten Google zijn er nog veel meer. Maar het feit dat je natuurlijk dit moet gaan blokkeren is wel vreemd en je eingelijk eens moeten navragen of je hostingprovider een log bij houdt zodat ze kunnen zien waar het verbruik aan op gaat.
Ik heb voor iemand ooit eens een pagina gemaakt middels http://bbclone.de/
Je krijgt dan zelf een goed overzicht wie er langskomt en zou kun je ook zien of er bots voorbijkomen.
Programma is niet heel ingewikkeld maar je moet je even inlezen. Er zijn meer van dit soort programma's maar deze ken ik nog.
Hier kun je een demo zien van het programma.
http://bbclone.de/demo/ en klik dan op Gedetailleerde Statistieken. Duurt wel erg lang met laden maar dat ligt aan die site en niet aan het programma.
Ik heb voor iemand ooit eens een pagina gemaakt middels http://bbclone.de/
Je krijgt dan zelf een goed overzicht wie er langskomt en zou kun je ook zien of er bots voorbijkomen.
Programma is niet heel ingewikkeld maar je moet je even inlezen. Er zijn meer van dit soort programma's maar deze ken ik nog.
Hier kun je een demo zien van het programma.
http://bbclone.de/demo/ en klik dan op Gedetailleerde Statistieken. Duurt wel erg lang met laden maar dat ligt aan die site en niet aan het programma.
Laatst bewerkt:
Eagle Creek
Verenigingslid
- Lid geworden
- 3 okt 2002
- Berichten
- 26.338
Is in principe niet 1, 2, 3 te controleren. Je zou kunnen kijken in je bezoekerslog zoals, bijvoorbeeld, Webalizer, die aanmaakt.
Denk er wel aan trouwens dat door het weigeren van de googlebot, je niet meer te vinden bent op Google.
Ik zag ook dat het via mijn eigen stats kan bekijken en vanochtend om 4.15 heeft googlebot 1.01 gig verbruikt, dat is behoorlijk veel. De rest van de robots/spiders verbruiken verder alleen in mb en niet eens gigs ofzo.
Ik heb vanochtend weer even naar mijn stats gekeken en deze laat het volgende zien.
Hits Bytes
Googlebot 41066+490 1.01 GB 25 Jun 2007 - 15:23
Ik had toen al in robots.txt aangegeven googlebot niet meer toe te laten? Hoe kan dit?
Hits Bytes
Googlebot 41066+490 1.01 GB 25 Jun 2007 - 15:23
Ik had toen al in robots.txt aangegeven googlebot niet meer toe te laten? Hoe kan dit?
Eagle Creek
Verenigingslid
- Lid geworden
- 3 okt 2002
- Berichten
- 26.338
Waar heb je het bestand staan?
(buitendat komt de bot nog wel op je site, hij graaft alleen niet dieper)
(buitendat komt de bot nog wel op je site, hij graaft alleen niet dieper)
Eagle Creek
Verenigingslid
- Lid geworden
- 3 okt 2002
- Berichten
- 26.338
Ok, dat is de goede plek 
.
Kun je zien of de bot dieper graaft?
.Kun je zien of de bot dieper graaft?
Ok, dat is de goede plek
Kun je zien of de bot dieper graaft?
Ik zou het niet weten. In mijn stats zie ik alleen van Googlebot wat ik net schreeff.
Eagle Creek
Verenigingslid
- Lid geworden
- 3 okt 2002
- Berichten
- 26.338
Even in de gaten houden dus. Google moet immers wel je site bezoeken om de robots.txt te kunnen lezen .
.- Status
