Articles sur : Pour les débutants
Cet article est aussi disponible en :

Quels crawlers sont utilisés par les différents moteurs de recherche?

Si vous souhaitez créer un fichier robots.txt pour votre site web, il vous faut connaître les nom des différents crawlers, afin de pouvoir leur donner des directives.


Voici une liste des crawlers (robots d'exploration) utilisés par les principaux moteurs de recherche. Pour chacun, nous vous offriront le code User-Agent à utiliser dans votre fichier pour leur adresser des instructions.


1. Le Googlebot de Google


Le crawler principal de Google est simplement nommé Googlebot. Il s'agit s'un nom générique donné à deux types de robots d'exploration différents. Le premier type simule la navigation sur un appareil mobile, le second simule un pc.


Nom du crawler

Terme User-Agent complet pour robots.txt

Googlebot

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)


En plus de son crawler de recherche, Google utilise 9 autres web crawlers avec des fonctions distinctes:


Nom du crawler

Terme User-Agent complet pour robots.txt

Googlebot News

Googlebot-News

Googlebot Images

Googlebot-Image/1.0

Googlebot Video

Googlebot-Video/1.0

Google Mobile

SAMSUNG-SGH-E250/1.0 Profile/MIDP-2.0 Configuration/CLDC-1.1 UP.Browser/6.2.3.3.c.1.101 (GUI) MMP/2.0 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)

Google Smartphone

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Google Adsense

Mediapartners-Google

Google Mobile Adsense

(compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)

Google AdsBot

AdsBot-Google (+http://www.google.com/adsbot.html)

Google app crawler

AdsBot-Google-Mobile-Apps


2. Le Bingbot de Bing


Bingbot est un robot déployé par Microsoft en 2010 pour procurer des informations à leur moteur de recherche Bing. Il a alors remplacé le vétuste robot MSN. Contrairement à Google, Bing utilise un seul crawler.


Nom du crawler

Terme User-Agent complet pour robots.txt

Bingbot

Mozilla/5.0 (compatible; Bingbot/2.0; +http://www.bing.com/bingbot.htm)


3. Le Slurpbot de Yahoo!


Les résultats de recherche de Yahoo proviennent du crawler Slurpbot de Yahoo et du Bingbot, car une grande partie de Yahoo est alimenté par Bing. Les sites doivent nécessairement permettre l’accès au Yahoo Slurpbot afin de pouvoir apparaître dans les résultats de recherche Yahoo Mobile.


De plus, le crawler de Yahoo! offre quelques fonctionnalités supplémentaires :


  • Il collecte le contenu des sites partenaires pour l'inclure dans des sites comme Yahoo News, Yahoo Sports et Yahoo Finance.
  • Il accède aux pages des sites à travers le Web pour en confirmer l’exactitude et améliorer le contenu personnalisé de Yahoo pour ses utilisateurs.


Nom du crawler

Terme User-Agent complet pour robots.txt

Slurpbot

Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)

Mis à jour le : 27/04/2023

Cet article a-t-il répondu à vos questions ?

Partagez vos commentaires

Annuler

Merci !