Simulation des crawlers Google et IA
Rankora simule jusqu'à 23 robots réels (moteurs de recherche et IA) avec leurs vrais user-agents, pour vérifier que chacun peut accéder à ton site et le lire.
Ce qui est inclus
- Le catalogue complet : Googlebot, Bingbot, GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended, Googlebot ordinateur, Applebot, DuckDuckBot, Qwantbot, YandexBot, Claude-SearchBot, DuckAssistBot, ChatGPT-User, Claude-User, Perplexity-User, MistralAI-User, Applebot-Extended, Meta-ExternalAgent, Amazonbot, CCBot, Bytespider.
- Pour chaque robot : autorisation dans robots.txt, code HTTP renvoyé et blocage éventuel par un pare-feu.
- Les robots sont regroupés par usage : moteurs de recherche, IA de recherche et de réponse, IA qui visitent à la demande, IA d'entraînement.
- Tests avancés : pages profondes, directives par robot (noindex, noai…), contenu servi à chaque robot, temps de réponse et rendu JavaScript comme Googlebot.
Comment ça marche
- L'analyse gratuite teste les 7 robots essentiels (Googlebot, Bingbot, GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended).
- Avec un abonnement, tu choisis les robots à suivre dans le catalogue.
- Chaque blocage devient une action dans ton plan, avec la règle à corriger.
Disponibilité et tarifs
Starter : 10 robots ; Pro : 16 robots ; Business : les 23 robots et les tests avancés. Options pour Starter et Pro : pack +5 crawlers à 5 €/mois, tests avancés des crawlers à 9 €/mois. Voir la page tarifs.
Questions fréquentes
Faut-il bloquer les robots d'entraînement des IA ?
C'est un choix légitime : les bloquer n'empêche pas d'être cité par les IA de recherche, qui utilisent d'autres robots.
Pourquoi un robot est-il bloqué alors que mon robots.txt l'autorise ?
Souvent à cause d'un pare-feu, d'une protection anti-bots ou d'une limite de débit chez l'hébergeur. Rankora affiche le code HTTP renvoyé pour le repérer.