D�tection spider Google - Crawl. Outils webmaster. Trucs et astuces

DETECTION DU SPIDER GOOGLE
CRAWL

Outils pour webmaster. Trucs et astuces en code HTML, JavaScript, PHP : am�liorer son site internet

Descriptif : vous souhaitez savoir � quel moment GOOGLE visitera votre site afin de surveiller votre classement. Combien de fois GOOGLE passera-t-il dessus ? Gr�ce � cette simple page PHP, vous saurez tout sur les robots de ce moteur de recherche : date et heure de visite, adresse IP, nom de domaine et nom du navigateur. Un mail vous avertira instantan�ment de la visite de votre site.

Voici ce � quoi ressemblera le mail que vous recevrez :

Date: Mon, 21 Apr 2003 08:00:28 +0200
To: vous@domaine.com
Subject: D�tection du spider de GOOGLE.
From: votre_mail@domaine.com

April 21, 2003, 8:00 am
Google crawled http://www.votre_site.com/googlecrawl.php
Navigateur : Googlebot/2.1 (+http://www.googlebot.com/bot.html)
Adresse IP : http://216.239.46.140
Nom de domaine : crawl5.googlebot.com

Mise en oeuvre : S�lectionnez et copiez directement � l'�cran le code ci-dessous. Il se copiera automatiquement dans presse-papiers. Ouvrez NotePad et collez-le. Modifiez l'adresse e-mail du destinataire et sauvegardez le fichier sous le nom googlecrawl.php. Transf�rez-le sur votre site et attendez. Ce que l'on nomme la. Google dance s'effectue une fois par mois (g�n�ralement en d�but de mois).

<? // Copyright https://www.toulouse-renaissance.net/ $domaine=gethostbyaddr($REMOTE_ADDR); $adr_expediteur = 'NOM@DOMAINE.COM'; $to="NOM@DOMAINE.COM"; $sujet="D�tection du spider de GOOGLE."; if(eregi("googlebot",$HTTP_USER_AGENT)) { if ($QUERY_STRING != "") {$url = "http://".$SERVER_NAME.$PHP_SELF.'?'.$QUERY_STRING;} else {$url = "http://".$SERVER_NAME.$PHP_SELF;} $today = date("F j, Y, g:i a"); mail($to,$sujet, "$today\nGoogle crawled $url\nNavigateur : $HTTP_USER_AGENT\nAdresse IP : http://$REMOTE_ADDR\nNom de domaine : $domaine", "From: $adr_expediteur"); } ?> <html> <head> <title>Test de d�tection GOOGLE</title> <meta NAME="Robots" CONTENT="noindex, follow"> <meta NAME="expires" CONTENT="never"> <meta NAME="revisit-after" CONTENT="30 days"> <meta NAME="copyright" CONTENT="� 2003 Toulouse-Renaissance"> <meta NAME="publisher" CONTENT="Toulouse-Renaissance"> <meta http-equiv="Content-Language" CONTENT="fr"> <meta NAME="location" CONTENT="France, FRANCE"> </head> <body> <p align="center">Test de d�tection du robot de GOOGLE</p> <p align="center"><a HREF="UNE_PAGE.htm">Retour</a></p> </body> </html>

Remarque : remplacez :
$adr_expediteur = 'NOM@DOMAINE.COM'; par votre mail exp�diteur (�ventuellement)
$to="NOM@DOMAINE.COM"; par votre mail de r�ception
<p align="center"><a HREF="UNE_PAGE.htm">Retour</a></p> par une page annexe en HTML vers laquelle googlecrawl.php a un lien qui elle-m�me aura un lien vers googlecrawl.php et les autres pages de votre site. Si ces liens n'existent pas et que googlecrawl.php se trouve isol�,: GOOGLE ne visitera pas cette page. Il est donc essentiel que ces liens soient pr�sents.

Dans la page HTML, faites que le lien vers googlecrawl.php ne soit pas trop visible aux yeux des visiteurs. De toute fa�on, si ce n'est pas le robot de GOOGLE qui la visite, le script saura le d�terminer par le nom du navigateur et le nom de domaine. Dernier conseil, ne faites pas de liens invisibles (caract�re ayant le m�me couleur que le fond d'�cran etc), les moteurs de recherche et d'indexation n'aiment pas �a du tout et vous d�classerez..

Si vous souhaitez surveiller un autre spider, remplacez "googlebot" par le nom d'un autre robot dans la ligne :
if(eregi("googlebot",$HTTP_USER_AGENT))

Copyright www.toulouse-renaissance.net �