Codebook — validation par codage humain du volet « adoption de l'IA »#

L'étude, et votre rôle#

L'Observatoire Kimoun mène l'étude « Le web ultramarin à l'heure de l'IA » : mesurer, à partir de leurs seuls sites publics, l'adoption réelle de l'intelligence artificielle par les acteurs du web en outre-mer. Cette mesure est produite par un système de classification automatique — un grand modèle de langage guidé par des consignes et des règles de décision — qui doit être validé par des humains avant toute publication.

En codant, vous jouez un double rôle :

contributeur·rice à l'étude : votre lecture humaine des sites constitue la référence (la « vérité terrain ») à laquelle la machine est comparée ;
entraîneur·euse du système d'évaluation : chaque écart entre vos réponses et celles du système est analysé, les consignes et règles de décision données au modèle sont ajustées, puis ses résultats sont réévalués — et l'on recommence jusqu'à ce que le système atteigne le niveau d'exactitude considéré comme suffisant (cf. seuils en fin de document).

But : vérifier la classification automatique (LLM) du volet IA en la comparant à un codage humain à l'aveugle sur un échantillon. Objectif de qualité : atteindre l'ordre de grandeur du papier de référence (MAP-AI, IZA DP 18434) — exactitude/F1 ≈ 0,94 et kappa ≥ 0,7 — avant de lever le filigrane BROUILLON et de publier les chiffres nominatifs.

Règle d'or : coder à l'aveugle. Le codeur ne regarde JAMAIS la réponse du LLM avant d'avoir enregistré sa réponse. On ne code que le texte public du site (accueil, offres, à-propos, blog), pas ce qu'on « sait » par ailleurs de l'entreprise.

Le codage se fait en ligne, dans l'espace contributeur : https://observatoire.kimoun.com/etude/codage/espace/ (accès par le lien reçu par e-mail à l'inscription).

Unité de codage#

Un acteur = un site (sa page d'accueil et ses pages publiques principales). Un écran de l'interface = un site à coder ; les 60 sites sont présentés un par un, dans un ordre qui vous est propre.

Où regarder#

Accueil, page(s) « offres / services », « à propos », et le blog s'il existe. Lire ce que l'entreprise dit faire aujourd'hui. En cas de site « coquille » (rendu JavaScript, texte quasi vide → compteur « mots collectés » très bas), voir la règle C ci-dessous.

Variable 1 — `ai_active` (implication IA) : oui / non / indéterminable#

Définition de l'IA retenue (groupe d'experts haut niveau de la Commission européenne) :

« Un système conçu pour agir vers un objectif en percevant son environnement, en raisonnant sur les données et en décidant des meilleures actions. L'IA recouvre l'apprentissage automatique (dont apprentissage profond et par renforcement), le raisonnement automatique (planification, représentation des connaissances, recherche, optimisation) et la robotique. »

Coder oui si le site montre que l'organisation développe, vend, intègre ou utilise réellement et actuellement de l'IA au sens ci-dessus.

Règles de décision (anti-« IA-washing »)#

A. Offre/usage réel, pas allusion. Une simple mention (« à l'ère de l'IA », « propulsé par l'IA » sans rien de concret, un logo) ne suffit pas. Il faut une prestation, un outil ou un usage décrit.
B. Pas d'aspirations ni de projets futurs. « Nous allons lancer une offre IA », « l'IA est l'avenir » → non (rien d'actuel).
C. Coquille / texte vide → indéterminable. Si le texte lisible est quasi inexistant (site rendu uniquement côté navigateur, mots proche de 0), on ne peut pas décider : coder indéterminable, jamais non.
D. Sécurité web ≠ IA. CAPTCHA, reCAPTCHA, Cloudflare, anti-bot, anti-spam : ne pas compter comme IA (sauf offre explicite de détection de fraude par IA, cf. techno 8).
E. Revente / partenariats. Afficher être « partenaire » ou revendeur d'un outil IA tiers, sans prestation propre : coder oui seulement si l'organisation met en œuvre l'outil pour ses clients ou en interne (pas un simple badge).
F. « Data / digital / automatisation » génériques ≠ IA. L'automatisation classique (Zapier de base, macros), la « data » ou le « digital » sans composante d'IA → non.

Exemples oui : agence qui propose « chatbots IA », « contenus générés par IA », « optimisation GEO », « nous utilisons l'IA pour produire plus vite » (avec détail). Exemples non : « bienvenue dans l'ère de l'intelligence artificielle » sans offre ; « CAPTCHA sécurisé » ; « bientôt une offre IA ».

Variable 2 — `roles` (rôle dans l'écosystème IA) : multi-label (0, 1 ou plusieurs)#

À coder seulement si ai_active = oui (les cases apparaissent alors dans l'interface). Cocher tous les rôles qui s'appliquent. Distinction clé pour l'étude : 2 = vend / 3 = intègre chez soi.

id	Rôle	Repère
1	Fournisseur de technologie IA cœur	développe algorithmes/modèles/frameworks/infra utilisés par d'autres
2	Développeur d'applications / solutions IA (VEND)	applique l'IA pour créer et vendre des produits/prestations (chatbots, contenus IA, GEO…) aux clients
3	Adoptant / utilisateur innovant (INTÈGRE)	l'IA n'est pas le métier, mais est intégrée à sa propre production/process, sans en faire une offre distincte
4	Recherche, conseil ou formation IA	soutient l'écosystème (conseil, formation, accompagnement) sans être fournisseur ni adoptant majeur
5	Investisseur ou incubateur	finance/incube/accélère des projets ou startups IA
6	Fournisseur d'infrastructure de données	fournit/gère des données pour entraîner/évaluer des IA (annotation, curation, datasets)
7	Autre rôle	impliqué en IA hors des cas 1–6 (préciser en note)
8	Rôle indéterminable	implication IA confirmée mais rôle non déductible du texte

Un même acteur peut être 2 et 3 à la fois (vend de l'IA ET l'utilise chez lui) — c'est fréquent et attendu.

Variable 3 — `tech_types` (types de technologies IA) : multi-label#

À coder seulement si ai_active = oui. Classer par application (à quoi ça sert), pas par la techno citée. Cocher tous ceux qui s'appliquent.

id	Type	Exemples
1	IA générative & conversationnel	génération texte/image/vidéo/audio/code, chatbots, assistants
2	Texte & langage (non génératif)	analyse de sentiment, classification, extraction, traduction, recherche sémantique
3	Image & vidéo (non génératif)	reconnaissance d'images, détection d'objets, OCR, analyse vidéo
4	Parole, audio & musique	reconnaissance/synthèse vocale, transcription
5	Prédictif & analytique	prévision, scoring, détection d'anomalies, classification/régression pour décider
6	Recommandation & personnalisation	reco produits/contenus, marketing perso, tarification dynamique
7	Systèmes autonomes & robotique	robots, drones, véhicules autonomes, RPA / agents
8	Sécurité & détection de fraude	fraude/menaces, vérification d'identité, biométrie, anti-spam
9	IA/ML fondamentales sans application précisée	mentionne ML/deep learning sans dire à quoi ça sert (sinon utiliser l'application)
10	Autre type	IA clairement utilisée mais hors 1–9 (préciser)
11	Type indéterminable	implication IA confirmée mais type non déductible

Procédure pas à pas (par site)#

Dans l'espace contributeur (https://observatoire.kimoun.com/etude/codage/espace/), cliquer « Commencer le codage » (ou « Reprendre ») ; pour chaque site :

Cliquer « Ouvrir le site live » et le parcourir : accueil + offres + à-propos + blog (~5–15 min). Le texte affiché dans l'interface n'est qu'un repère.
Décider ai_active (oui / non / indéterminable) selon les règles A–F.
Si oui : cocher les rôles puis les technologies applicables — les pastilles « ? » de l'interface rappellent les repères et exemples des tableaux ci-dessus.
Noter dans le champ note toute hésitation, citation-clé, ou motif de doute.
« Enregistrer et passer au suivant ». Les réponses restent modifiables jusqu'à la soumission finale — ne revenir en arrière qu'après avoir parcouru toute la grille, puis la soumettre.

Après le codage#

Exporter les grilles saisies en ligne (commande export_codages) et lancer calcul_accord.py : exactitude, précision/rappel/F1 sur ai_active, kappa de Cohen, accord multi-label (Jaccard) sur rôles/technos, matrice de confusion, et la liste des désaccords à arbitrer.
Arbitrer chaque désaccord (humain tranche la vérité terrain), analyser les motifs d'erreur du LLM, et — si l'accord est insuffisant — ajuster les prompts/règles puis re-coder.
Reporter les chiffres de validation dans la §Méthodologie du rapport (comme le 0,94 du papier).

Seuils de décision#

Accord suffisant : exactitude ai_active ≥ 0,90 et κ ≥ 0,7 (idéalement ≈ 0,94 / 0,8).
Si 2 codeurs : viser aussi κ inter-codeurs ≥ 0,7 (sinon le codebook est ambigu → préciser).

Ce document fait partie du protocole public de validation du volet IA de l'étude. Version imprimable dans l'espace contributeur.