Quels crawlers sont utilisés par les différents moteurs de recherche?
Si vous souhaitez créer un fichier robots.txt pour votre site web, il vous faut connaître les nom des différents crawlers, afin de pouvoir leur donner des directives.
Voici une liste des crawlers (robots d'exploration) utilisés par les principaux moteurs de recherche. Pour chacun, nous vous offriront le code User-Agent à utiliser dans votre fichier pour leur adresser des instructions.
Le crawler principal de Google est simplement nommé Googlebot. Il s'agit s'un nom générique donné à deux types de robots d'exploration différents. Le premier type simule la navigation sur un appareil mobile, le second simule un pc.
En plus de son crawler de recherche, Google utilise 9 autres web crawlers avec des fonctions distinctes:
Bingbot est un robot déployé par Microsoft en 2010 pour procurer des informations à leur moteur de recherche Bing. Il a alors remplacé le vétuste robot MSN. Contrairement à Google, Bing utilise un seul crawler.
Les résultats de recherche de Yahoo proviennent du crawler Slurpbot de Yahoo et du Bingbot, car une grande partie de Yahoo est alimenté par Bing. Les sites doivent nécessairement permettre l’accès au Yahoo Slurpbot afin de pouvoir apparaître dans les résultats de recherche Yahoo Mobile.
De plus, le crawler de Yahoo! offre quelques fonctionnalités supplémentaires :
Il collecte le contenu des sites partenaires pour l'inclure dans des sites comme Yahoo News, Yahoo Sports et Yahoo Finance.
Il accède aux pages des sites à travers le Web pour en confirmer l’exactitude et améliorer le contenu personnalisé de Yahoo pour ses utilisateurs.
Voici une liste des crawlers (robots d'exploration) utilisés par les principaux moteurs de recherche. Pour chacun, nous vous offriront le code User-Agent à utiliser dans votre fichier pour leur adresser des instructions.
1. Le Googlebot de Google
Le crawler principal de Google est simplement nommé Googlebot. Il s'agit s'un nom générique donné à deux types de robots d'exploration différents. Le premier type simule la navigation sur un appareil mobile, le second simule un pc.
| Nom du crawler | Terme User-Agent complet pour robots.txt |
|---|---|
| Googlebot | Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) |
En plus de son crawler de recherche, Google utilise 9 autres web crawlers avec des fonctions distinctes:
| Nom du crawler | Terme User-Agent complet pour robots.txt |
|---|---|
| Googlebot News | Googlebot-News |
| Googlebot Images | Googlebot-Image/1.0 |
| Googlebot Video | Googlebot-Video/1.0 |
| Google Mobile | SAMSUNG-SGH-E250/1.0 Profile/MIDP-2.0 Configuration/CLDC-1.1 UP.Browser/6.2.3.3.c.1.101 (GUI) MMP/2.0 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html) |
| Google Smartphone | Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) |
| Google Adsense | Mediapartners-Google |
| Google Mobile Adsense | (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html) |
| Google AdsBot | AdsBot-Google (+http://www.google.com/adsbot.html) |
| Google app crawler | AdsBot-Google-Mobile-Apps |
2. Le Bingbot de Bing
Bingbot est un robot déployé par Microsoft en 2010 pour procurer des informations à leur moteur de recherche Bing. Il a alors remplacé le vétuste robot MSN. Contrairement à Google, Bing utilise un seul crawler.
| Nom du crawler | Terme User-Agent complet pour robots.txt |
|---|---|
| Bingbot | Mozilla/5.0 (compatible; Bingbot/2.0; +http://www.bing.com/bingbot.htm) |
3. Le Slurpbot de Yahoo!
Les résultats de recherche de Yahoo proviennent du crawler Slurpbot de Yahoo et du Bingbot, car une grande partie de Yahoo est alimenté par Bing. Les sites doivent nécessairement permettre l’accès au Yahoo Slurpbot afin de pouvoir apparaître dans les résultats de recherche Yahoo Mobile.
De plus, le crawler de Yahoo! offre quelques fonctionnalités supplémentaires :
Il collecte le contenu des sites partenaires pour l'inclure dans des sites comme Yahoo News, Yahoo Sports et Yahoo Finance.
Il accède aux pages des sites à travers le Web pour en confirmer l’exactitude et améliorer le contenu personnalisé de Yahoo pour ses utilisateurs.
| Nom du crawler | Terme User-Agent complet pour robots.txt |
|---|---|
| Slurpbot | Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp) |
Mis à jour le : 27/04/2023
Merci !