Rendre son site lisible par les robots des IA

Un robot d'IA bloqué ne lit rien. Aucune autre optimisation ne compte tant que ce point n'est pas réglé.

1. Le robots.txt

Ouvrez votre-site.fr/robots.txt. Les robots à laisser passer pour la recherche :

• OAI-SearchBot et ChatGPT-User (ChatGPT) ;
• PerplexityBot et Perplexity-User (Perplexity) ;
• Claude-SearchBot et Claude-User (Claude) ;
• Googlebot et Bingbot, dont dépendent Gemini, les AI Overviews et Copilot.

Les robots d'entraînement (GPTBot, ClaudeBot, Google-Extended, CCBot) peuvent être bloqués sans effet sur les réponses avec sources. C'est un choix éditorial, pas une obligation.

2. Le pare-feu et le CDN

Cloudflare, Sucuri ou certains hébergeurs bloquent les robots d'IA par défaut, ou les soumettent à un défi que le robot ne passe pas. Vérifiez les réglages "bots" de votre CDN : un robots.txt ouvert ne sert à rien si le pare-feu ferme la porte.

3. Le contenu dans le HTML

Faites un clic droit puis "Afficher le code source" sur une page clé, et cherchez une phrase de votre texte. Si elle n'apparaît pas, la page est construite en JavaScript. Google sait l'exécuter ; plusieurs robots d'IA lisent seulement le HTML d'origine. Le rendu côté serveur règle le problème.

Ensuite

Un sitemap à jour déclaré dans le robots.txt, des pages qui répondent en moins de deux secondes, des titres et descriptions renseignés. Ce sont les bases du SEO technique, qui valent pour les IA.