> ## Knowledge Base Index
> Fetch the complete knowledge base index at: https://help.ex2.com/sitemap.xml
> Use this file to discover available pages before exploring further.
> Pure-Markdown content can be obtained by appending a '.md' suffix to the content URLs listed in the sitemap (without the trailing slash).

# Quels crawlers sont utilisés par les différents moteurs de recherche?

Si vous souhaitez créer un fichier robots.txt pour votre site web, il vous faut connaître les nom des différents crawlers, afin de pouvoir leur donner des directives.

Voici une liste des [crawlers (robots d'exploration)](https://help.ex2.com/fr/article/quest-ce-quun-crawler-web-robot-dexploration-8cm0w0/?bust=1784212011430) utilisés par les principaux moteurs de recherche. Pour chacun, nous vous offriront le code **User-Agent** à utiliser dans votre fichier pour leur adresser des instructions. 

### 1. Le Googlebot de Google

Le crawler principal de Google est simplement nommé [Googlebot](https://developers.google.com/search/docs/crawling-indexing/googlebot?hl=fr). Il s'agit s'un nom générique donné à deux types de robots d'exploration différents. Le premier type simule la navigation sur un appareil mobile, le second simule un pc.

| Nom du crawler | Terme User-Agent complet pour robots.txt |
| ---- |
| Googlebot | Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) |

En plus de son crawler de recherche, Google utilise 9 autres web crawlers avec des fonctions distinctes:

| Nom du crawler | Terme User-Agent complet pour robots.txt |
| ---- |
| Googlebot News | Googlebot-News |
| Googlebot Images | Googlebot-Image/1.0 |
| Googlebot Video | Googlebot-Video/1.0 |
| Google Mobile | SAMSUNG-SGH-E250/1.0 Profile/MIDP-2.0 Configuration/CLDC-1.1 UP.Browser/6.2.3.3.c.1.101 (GUI) MMP/2.0 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html) |
| Google Smartphone | Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) |
| Google Adsense | Mediapartners-Google |
| Google Mobile Adsense | (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html) |
| Google AdsBot | AdsBot-Google (+http://www.google.com/adsbot.html) |
| Google app crawler | AdsBot-Google-Mobile-Apps |

### 2. Le Bingbot de Bing 

Bingbot est un robot déployé par Microsoft en 2010 pour procurer des informations à leur moteur de recherche Bing. Il a alors remplacé le vétuste robot MSN. Contrairement à Google, Bing utilise un seul crawler.

| Nom du crawler | Terme User-Agent complet pour robots.txt |
| ---- |
| Bingbot | Mozilla/5.0 (compatible; Bingbot/2.0; +http://www.bing.com/bingbot.htm) |

### 3. Le Slurpbot de Yahoo!

Les résultats de recherche de Yahoo proviennent du crawler Slurpbot de Yahoo et du Bingbot, car une grande partie de Yahoo est alimenté par Bing. Les sites doivent nécessairement permettre l’accès au Yahoo Slurpbot afin de pouvoir apparaître dans les résultats de recherche Yahoo Mobile.

De plus, le crawler de Yahoo! offre quelques fonctionnalités supplémentaires :

* Il collecte le contenu des sites partenaires pour l'inclure dans des sites comme **Yahoo News**, **Yahoo Sports** et **Yahoo Finance**.
* Il accède aux pages des sites à travers le Web pour en confirmer l’exactitude et améliorer le contenu personnalisé de Yahoo pour ses utilisateurs.

| Nom du crawler | Terme User-Agent complet pour robots.txt |
| ---- |
| Slurpbot | Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp) |