Le robot d'exploration de l'Observatoire Kimoun
Le robot de l'Observatoire Kimoun est le crawler de observatoire.kimoun.com. Il mesure automatiquement le socle technique public des sites web — performance, sécurité HTTP, accessibilité, DNS/e-mail, dette technique, lisibilité par les IA — pour calculer l'Indice de Maturité Numérique Web (IMN). Il se limite à quelques requêtes par site, s'identifie honnêtement, n'accède qu'à des contenus publics et respecte votre robots.txt pour ses propres mesures.
Comment le reconnaître#
Toutes nos requêtes portent le même en-tête
User-Agent, avec le token Kimoun-Obs et un lien vers cette page :
Mozilla/5.0 (compatible; Kimoun-Obs/1.0; +https://observatoire.kimoun.com/bot)
Ce robot unique réalise :
- Mesure principale : page d'accueil, performance, données structurées.
- Lecture du robots.txt et des fichiers de découverte (sitemap, llms.txt).
- Audit DNS / e-mail (SPF, DKIM, DMARC — via le DNS public).
- Détection des technologies et de la dette technique.
- Qualification du domaine (résolution du site web canonique).
Ce qu'il fait — et ne fait pas#
- Il n'analyse que des éléments publics (page d'accueil, en-têtes HTTP, DNS public).
- Il ne remplit aucun formulaire, ne se connecte à aucun compte, ne collecte aucune donnée personnelle.
- Il est peu intrusif : quelques requêtes espacées par site, pas d'exploration en profondeur.
- Il respecte le robots.txt du site pour tout ce qu'il va chercher lui-même.
- Les résultats sont publiés dans l'observatoire public, avec un barème transparent.
Autoriser explicitement le bot Kimoun-Obs#
Si votre robots.txt restreint l'accès par défaut (par ex. User-agent: *
puis Disallow: /), vous pouvez autoriser uniquement notre robot à
mesurer votre site — pour figurer dans l'observatoire avec un score complet :
User-agent: Kimoun-Obs
Allow: /
Une règle nominative pour Kimoun-Obs prime sur la règle générale
User-agent: * pour notre robot : vous conservez vos restrictions envers les autres
robots tout en nous laissant calculer un IMN complet. Aucune inscription ni clé n'est nécessaire.
Contrôler ou bloquer ce que nous mesurons#
Nos crawlers maison respectent votre robots.txt. Pour leur
interdire de visiter votre site, ajoutez :
User-agent: Kimoun-Obs
Disallow: /
Les axes que nous mesurons nous-mêmes (accessibilité, dette technique,
lisibilité IA) ne sont alors plus remontés — un panneau 🚫 l'indique sur votre fiche. En
revanche, les mesures obtenues via des outils tiers publics (Google PageSpeed,
Mozilla Observatory) et le DNS public restent affichées : votre robots.txt
s'adresse à nos robots, pas à Google ni à Mozilla. Le score IMN devient alors partiel.
Vous ne trouverez pas ici de « bouton de suppression » — et c'est voulu : voir Permanence des mesures. Le plus efficace pour agir sur votre fiche reste d'améliorer votre socle technique puis de re-mesurer — ou d'exercer votre droit de réponse.
Permanence des mesures — pourquoi une fiche ne se supprime pas#
L'observatoire publie des mesures factuelles, reproductibles et publiquement vérifiables, réalisées à l'identique pour tous les sites du panel — collectivités, entreprises, concurrents compris. C'est cette égalité de traitement qui fait sa valeur : une fiche ne se supprime pas sur demande, pas plus qu'elle ne s'achète ou ne se négocie.
En revanche, vous gardez la main sur l'essentiel :
- Re-mesurez votre site à tout moment, gratuitement : toute amélioration de votre socle technique est prise en compte immédiatement (bouton « Re-mesurer » de votre fiche) ;
- Exercez votre droit de réponse : votre position est publiée sur votre fiche, datée, sans retouche de notre part ;
- Signalez une erreur factuelle : nous vérifions, corrigeons et re-mesurons ;
- Contrôlez nos robots via votre
robots.txt(ci-dessus) — les mesures d'outils tiers publics restent affichées et le score devient partiel.
Les demandes fondées sur un droit prévu par la loi (droit d'opposition des personnes physiques — art. 21 RGPD —, décision de justice) sont examinées au cas par cas et reçoivent une réponse motivée : voir notre politique de confidentialité.