[ URL      ] : https://notes.fr/2017/01/29/Reduire-logs-Apache/
[ CATEGORY ] : /Serveur/Web/Apache
[ TAGS     ] : , ,
[ AUTHOR   ] : 4L1N3

Réduire les logs d'erreurs d'Apache

Les moteurs de recherche cherchent toujours le fichier robots.txt ainsi que le favicon.ico.
Si ces derniers n’existent pas et que quelqu’un tente d’y accéder, les logs d’erreurs d’Apache n’oublieront pas de vous le signaler. Pour éviter d’encombrer les logs, il faut donc à la fois créer un fichier robots.txt et un favicon.ico, tous deux à mettre à la racine de vos sites.

Contenu du fichier robots.txt

Le fichier robots.txt (écrit en minuscules et au pluriel) est un fichier ASCII se trouvant à la racine du site et pouvant contenir les commandes suivantes :

  • User-Agent : permet de préciser quel·s robot·s sera/seront concerné·s par les directives indiquées. La valeur * signifie “tous les moteurs de recherche”
  • Disallow : permet d’indiquer les pages à exclure de l’indexation. Chaque page ou chemin à exclure doit être sur une ligne à part et doit commencer par /. La valeur / seule signifie “toutes les pages du site”.

Note : Le fichier robots.txt ne doit contenir aucune ligne vide.

Pour exclure de l’indextion toutes les pages :

User-Agent: *    
Disallow: /

Exclusion d’aucune page (équivalent à l’absence de fichier robots.txt, toutes les pages sont visitées) :

User-Agent: *    
Disallow:

Autorisation d’un seul robot :

User-Agent: nomDuRobot    
Disallow :    
User-Agent: *    
Disallow: /

Exclusion d’un robot :

User-Agent: NomDuRobot
Disallow: /    
User-Agent: *    
Disallow:

Exclusion d’une page :

User-Agent: *    
Disallow: /repertoire/chemin/page.html

Exclusion de plusieurs pages :

User-Agent: *    
Disallow: /repertoire/chemin/page.html    
Disallow: /repertoire/chemin/page2.html    
Disallow: /repertoire/chemin/page3.html

Exclusion de toutes les pages d’un répertoire et ses sous-dossiers :

User-Agent: *    
Disallow: /repertoire/

Quelques User-Agents :

Nom du moteurs     User-Agent

Alta Vista        Scooter
Excite            ArchitextSpider
Google            Googlebot
HotBot            Slurp
InfoSeek          InfoSeek Sidewinder
Lycos             T-Rex
Voilà             Echo

Pour plus de précision : http://www.commentcamarche.net/contents/1268-robots-txt

Création d’un favicon.ico

Voici une application en ligne qui permet de faire des favicons, il est même possble d’uploder une image : http://www.favicon.cc/

> Partager <