html code GEEN weergave in zoekmachines
- Onderwerp starter Gion
- Startdatum
- Status
JHx
Gebruiker
- Lid geworden
- 11 jan 2006
- Berichten
- 407
Dat kan door een 'meta'-tag in je pagina op te nemen
En als je het voor de hele site wilt kun je 'n bestand maken met de naam robots.txt
In dat bestand zet je precies wat hieronder staat (zonder lege regels):
Het bestand robots.txt zet je dan op je site in de root-directory. Dat is waar ook je index.htm of index.php of iets dergelijks staat, zeg maar waar je binnenkomt op je site. Maar in principe wordt er dus helemaal niets meer geïndexeerd als je dit op je site zet!
Helemaal waterdicht is trouwens geen enkele methode, want je kunt bots niet verplichten zich hieraan te houden. Maar alle fatsoenlijke bots zoals Google, Microsoft, Yahoo, houden zich hier aan.
Code:
<head>
<meta name="robots" content="noindex, nofollow">
<head>In dat bestand zet je precies wat hieronder staat (zonder lege regels):
Code:
User-agent: *
Disallow: /Helemaal waterdicht is trouwens geen enkele methode, want je kunt bots niet verplichten zich hieraan te houden. Maar alle fatsoenlijke bots zoals Google, Microsoft, Yahoo, houden zich hier aan.
hvdmountain
Nieuwe gebruiker
- Lid geworden
- 1 dec 2008
- Berichten
- 3
Door middel van een stukje tussen de HEAD tags:
Of door middel van een stukje PHP:
Of door het bestand robots.txt in je root-directory te plaatsen met de volgende tekst erin:
Voor meer info over deze laatste optie: http://www.robotstxt.org/robotstxt.html
Code:
<head>
<meta name="robots" content="noindex, nofollow, noarchive" />
<meta name="googlebot" content="noindex, nofollow, noarchive" />
<head>Of door middel van een stukje PHP:
Code:
<?php
/*
Copy from http://www.russellbeattie.com/blog/mobile-browser-detection-in-php
*/
$isBot = false;
$ua = strtolower($_SERVER['HTTP_USER_AGENT']);
$ip = $_SERVER['REMOTE_ADDR'];
$isBot = $ip == '66.249.65.39'
|| strpos($ua, 'googlebot') !== false
|| strpos($ua, 'mediapartners') !== false
|| strpos($ua, 'yahooysmcm') !== false
|| strpos($ua, 'baiduspider') !== false
|| strpos($ua, 'msnbot') !== false
|| strpos($ua, 'slurp') !== false
|| strpos($ua, 'ask') !== false
|| strpos($ua, 'teoma') !== false
|| strpos($ua, 'spider') !== false
|| strpos($ua, 'heritrix') !== false
|| strpos($ua, 'attentio') !== false
|| strpos($ua, 'twiceler') !== false
|| strpos($ua, 'irlbot') !== false
|| strpos($ua, 'fast crawler') !== false
|| strpos($ua, 'fastmobilecrawl') !== false
|| strpos($ua, 'jumpbot') !== false
|| strpos($ua, 'googlebot-mobile') !== false
|| strpos($ua, 'yahooseeker') !== false
|| strpos($ua, 'motionbot') !== false
|| strpos($ua, 'mediobot') !== false
|| strpos($ua, 'chtml generic') !== false
|| strpos($ua, 'nokia6230i/. fast crawler') !== false;
if ($isBot)
{
echo 'Je bent een botje, en die vind ik niet lekker';
}
?>Of door het bestand robots.txt in je root-directory te plaatsen met de volgende tekst erin:
Code:
User-agent: *
Disallow: /Voor meer info over deze laatste optie: http://www.robotstxt.org/robotstxt.html
- Status
