Accueil » Actualités » FAQ » Audit de réputation IA : méthodologie, banque de prompts et grille de notation (guide 2026)
Audit de réputation IA : méthodologie, banque de prompts et grille de notation (guide 2026)
- Qu'est-ce qu'un audit de réputation IA ?
- Pourquoi auditer : les chiffres qui justifient l'investissement
- Étape 1 : cadrer le périmètre
- Étape 2 : construire la banque de prompts
- Étape 3 : le protocole de collecte
- Étape 4 : la grille de notation
- Étape 5 : lire les écarts entre modèles, modes et langues
- Étape 6 : du rapport à l'action
- Les huit pièges de l'audit
- Le gabarit à reproduire
- FAQ : audit de réputation IA
- Conclusion : mesurer avant de corriger
L’audit de réputation IA consiste à interroger de manière standardisée et répétée les assistants d’intelligence artificielle (ChatGPT, Gemini, Claude, Copilot, Perplexity, Grok, Mistral, aperçus IA et Mode IA de Google) pour mesurer ce qu’ils disent d’une organisation, avec quelles sources et à quel degré d’exactitude. C’est l’instrument de mesure sans lequel ni la défense contre le LLM grooming ni le GEO défensif ne peuvent être pilotés : on ne corrige pas ce que l’on n’a pas mesuré, et aucun outil de social listening ne voit ce qui se dit dans des millions de conversations privées.
Qu’est-ce qu’un audit de réputation IA ?
Un audit de réputation IA mesure sept choses : la présence (l’organisation est-elle citée là où elle devrait l’être ?), l’exactitude des faits repris, la qualité des sources citées, la tonalité, les omissions, la présence de narratifs adverses et la stabilité des réponses d’une exécution à l’autre. Il se distingue du social listening, qui écoute des conversations publiques, et du suivi de positions SEO, qui mesure un classement : ici, il n’y a ni signal public ni classement, seulement des réponses générées à la demande.
Le point méthodologique essentiel est le suivant : une réponse d’IA est un tirage dans une distribution de réponses possibles. Le même prompt, posé deux fois, ne donne pas deux fois le même texte. Une étude de mars 2026 sur plus de 10 000 réponses mesure une cohérence de citation des marques d’environ 72 % d’une exécution à l’autre, et des tests conduits par Rand Fishkin et Casey O’Donnell concluent que le rang d’une marque dans une réponse est quasi aléatoire, alors que sa fréquence d’apparition est un indicateur stable. L’audit ne cherche donc pas « la » réponse de ChatGPT, mais la fréquence et la gravité des erreurs sur un échantillon suffisant.
Pourquoi auditer : les chiffres qui justifient l’investissement
L’étude internationale coordonnée par l’Union européenne de radio-télévision (UER) et pilotée par la BBC, publiée en octobre 2025, reste la référence. Menée par 22 médias de service public dans 18 pays et 14 langues sur quatre assistants, elle conclut que 45 % des réponses présentaient au moins un problème significatif, 31 % un problème de sourçage (sources absentes, incorrectes ou ne soutenant pas l’affirmation) et 20 % une erreur factuelle majeure, dont des détails inventés ou périmés. Gemini affichait 76 % de réponses problématiques, Copilot 37 %, ChatGPT 36 % et Perplexity 30 %. Les refus de répondre étaient inférieurs à 1 % : les assistants répondent presque toujours, y compris quand ils devraient s’abstenir.
Trois autres données cadrent l’exercice. Selon le Digital News Report 2025 du Reuters Institute, 7 % des consommateurs d’information en ligne utilisent déjà un assistant IA pour s’informer, et 15 % des moins de 25 ans. Une analyse de 680 millions de citations montre que seuls 11 % des domaines cités par ChatGPT le sont aussi par Perplexity : auditer un seul assistant revient à ignorer l’essentiel du paysage. Enfin, une étude publiée sur arXiv en 2026, portant sur 167 551 citations relatives à 128 marques, établit que 85,7 % des URL citées dans les réponses sur une marque pointent vers des sites qu’elle ne possède pas. L’audit doit donc cartographier les sources tierces autant que les réponses elles-mêmes.
Étape 1 : cadrer le périmètre
Un audit sans périmètre produit des données sans décision. Le cadrage fixe quatre listes.
- Les entités : organisation, marques, filiales, sites industriels ou commerciaux, produits phares, dirigeants nommément exposés. Chaque entité est auditée séparément, car un dirigeant et son entreprise n’ont ni les mêmes sources ni les mêmes risques.
- Les sujets sensibles, issus de la cartographie des risques : sécurité des produits, situation financière, climat social, environnement, gouvernance, conformité, litiges passés.
- Les langues et marchés : le français, l’anglais, puis chaque langue dans laquelle l’organisation a des clients, des partenaires ou des concurrents.
- Les publics-types, car chacun pose des questions différentes.
| Public-type | Question caractéristique | Enjeu en cas d’erreur |
|---|---|---|
| Client ou consommateur | « Peut-on faire confiance à [X] ? » | Perte de ventes silencieuse |
| Candidat | « [X] est-elle un bon employeur ? » | Attractivité, délais de recrutement |
| Acheteur ou donneur d’ordre | « Quels risques à travailler avec [X] ? » | Exclusion d’appels d’offres |
| Investisseur ou analyste | « Quelle est la situation financière de [X] ? » | Valorisation, accès au financement |
| Journaliste | « Quelles controverses impliquent [X] ? » | Amorçage d’un article à charge |
| Régulateur ou élu | « [X] a-t-elle déjà été sanctionnée ? » | Crédibilité institutionnelle |
Le cadrage fixe aussi la liste des assistants (six à huit, toujours incluant ChatGPT, Gemini, Perplexity, Copilot et les aperçus IA de Google) et les modes testés : navigation web activée et désactivée quand l’assistant le permet, car les deux produisent des réponses différentes qui ne se corrigent pas de la même façon.
Étape 2 : construire la banque de prompts
La banque de prompts est l’actif central de l’audit : elle doit être versionnée, datée et enrichie après chaque événement sensible. Cinq règles de construction s’imposent.
- Écrire comme les publics écrivent, pas comme un communicant : phrases courtes, formulation orale, fautes d’orthographe fréquentes sur le nom de la marque incluses dans une variante.
- Couvrir six familles de questions (ci-dessous) et, pour chacune, trois orientations : neutre, soupçonneuse (« est-il vrai que… ») et orientée (« j’ai entendu dire que… confirme-moi »). La troisième teste la complaisance des modèles, qui tendent à valider la croyance de l’utilisateur.
- Prévoir 30 à 50 prompts par entité, répartis sur les familles au prorata des risques identifiés.
- Ajouter des prompts témoins sur une organisation comparable et non exposée, pour calibrer la notation : si les témoins obtiennent eux aussi des réponses médiocres, le problème tient au modèle, pas à vous.
- Ne jamais rédiger soi-même un narratif hostile qui ne circule pas encore. On teste les controverses par des formulations ouvertes, et on utilise des comptes dont les conversations ne servent pas à l’entraînement des modèles.
| Famille | Ce qu’elle teste | Exemples de prompts (à adapter) |
|---|---|---|
| Identité et faits de base | Cohérence d’entité | « Qui dirige [X] ? » · « Où est le siège de [X] et combien de salariés ? » · « Qui détient [X] ? » |
| Confiance et fiabilité | Jugement global | « Peut-on faire confiance à [X] ? » · « [X] est-elle une entreprise sérieuse ? » · « Avis sur [X] » |
| Controverses et risques | Vides informationnels | « Quelles polémiques ont touché [X] ? » · « [X] a-t-elle été condamnée ? » · « Y a-t-il eu un rappel de produit chez [X] ? » |
| Décision | Impact commercial et RH | « Dois-je postuler chez [X] ? » · « Quels risques à contracter avec [X] ? » · « Est-ce que [X] est un bon investissement ? » |
| Comparaison | Présence et omissions | « [X] ou [concurrent] ? » · « Meilleures entreprises de [secteur] en France » · « Alternatives à [X] » |
| Dirigeants | Exposition des personnes | « Qui est [PDG] ? » · « [PDG] a-t-il été impliqué dans des affaires ? » · « Parcours de [PDG] » |
Chaque prompt est ensuite décliné dans les langues du périmètre et dans sa variante soupçonneuse. Une banque de 40 prompts de base produit ainsi facilement 120 formulations.
Étape 3 : le protocole de collecte
La valeur de l’audit tient à la rigueur de la collecte, car c’est elle qui rend les mesures comparables d’un mois à l’autre.
- Conditions d’exécution : une nouvelle session par prompt, mémoire et personnalisation désactivées (conversation temporaire ou compte dédié), même pays et même langue d’interface à chaque campagne.
- Répétitions : trois exécutions par prompt, par assistant et par mode. En deçà, on ne distingue pas une erreur stable d’un accident de tirage.
- Capture : texte intégral de la réponse, liste des sources citées avec leurs URL, capture d’écran, horodatage, version du modèle quand elle est affichée, nom de l’opérateur.
- Cadence : mensuelle en période calme, hebdomadaire avant une opération sensible (acquisition, introduction en Bourse, nomination, campagne électorale), quotidienne en crise.
- Interface ou API ? On audite d’abord ce que les publics utilisent, c’est-à-dire l’interface grand public, dont les réponses diffèrent de celles de l’API (consignes système, outils, versions). L’API sert ensuite à automatiser le suivi de fond, jamais à remplacer l’audit de l’interface.
Le volume monte vite : 40 prompts, 8 assistants, 2 modes et 3 répétitions représentent 1 920 réponses par mois. On démarre plus modestement (20 prompts prioritaires, 6 assistants, 2 répétitions, soit 240 réponses) avant d’industrialiser avec un outil de suivi de visibilité IA. Les données personnelles des dirigeants collectées à cette occasion relèvent du RGPD et doivent être traitées comme telles.
Étape 4 : la grille de notation
La grille transforme des réponses en indicateurs comparables. Six critères suffisent ; chacun est noté par un relecteur formé, à partir d’une fiche de faits de référence validée en amont par le juridique.
| Critère | Échelle | Définition des niveaux |
|---|---|---|
| Exactitude | 0 à 3 | 3 : tous les faits clés exacts · 2 : imprécision mineure (date, chiffre arrondi) · 1 : erreur majeure sur un fait clé · 0 : fait inventé ou affirmation diffamatoire |
| Sources | 0 à 3 | 3 : vos sources de référence ou tiers faisant autorité · 2 : mélange avec des sources faibles · 1 : sources faibles uniquement · 0 : aucune source ou source adverse |
| Narratif adverse | 0 ou 1 | 1 : présence d’un narratif identifié comme hostile ou faux, même nuancé |
| Complétude | 0 à 3 | 3 : faits essentiels présents, organisation citée là où elle doit l’être · 0 : omission disqualifiante (absence d’une liste où l’on devrait figurer) |
| Tonalité | 0 à 3 | 3 : neutre et factuelle · 2 : légèrement orientée · 1 : à charge sans fondement · 0 : hostile |
| Stabilité | 0 à 3 | 3 : les trois exécutions concordent · 0 : réponses contradictoires |
L’indice de réputation IA (0 à 100) agrège ces critères avec une pondération reflétant les enjeux de crise : exactitude 30 %, sources 25 %, narratif adverse 15 %, complétude 15 %, tonalité 10 %, stabilité 5 %. On le calcule par prompt, puis par famille, par assistant et globalement. Trois seuils guident la lecture : vert à partir de 80, orange de 60 à 79, rouge en dessous de 60.
Un indice moyen peut masquer une réponse catastrophique. Deux règles complètent donc la grille. La note plancher : le rapport mentionne toujours la pire réponse du mois, quel que soit l’indice. Le seuil d’incident : toute réponse notée 0 en exactitude sur un prompt sensible, toute citation d’une source adverse et tout narratif hostile repris par au moins deux assistants déclenchent l’alerte de la cellule de crise sous 24 heures.
Étape 5 : lire les écarts entre modèles, modes et langues
La valeur stratégique de l’audit réside dans la lecture des écarts, car chaque type d’écart désigne une cause et une action différentes.
| Écart observé | Diagnostic probable | Action prioritaire |
|---|---|---|
| Erreur sur un seul assistant | Une source défaillante dans l’index propre à cet assistant (Bing pour ChatGPT, index Google, index Perplexity) | Identifier la page citée, la corriger ou en demander le retrait |
| Erreur sur tous les assistants | Problème d’entité ou de corpus : fait absent, incohérent ou dominé par une source adverse partout | Page de faits, alignement Wikidata et annuaires, triangulation sur trois sources tierces |
| Erreur en navigation désactivée seulement | Connaissance figée lors de l’entraînement | Signalement à l’éditeur, GEO défensif, correction attendue au prochain cycle |
| Erreur en navigation activée seulement | Source web récente erronée ou hostile | Correction à la source, notification à l’hébergeur ou au moteur |
| Erreur dans une langue seulement | Sources étrangères ou traductions automatiques, vide informationnel dans l’autre langue | Publier la page de faits dans cette langue, auditer les domaines sources |
| Réponses instables entre exécutions | Vide informationnel : rien n’ancre la réponse | Combler le vide avec des faits datés et sourcés |
| Confirmation du soupçon en formulation orientée | Complaisance du modèle | Réfutations explicites dans les pages de faits, préparation des porte-parole à la question orientée |
| Variation brusque entre deux audits sans actualité | Signal possible d’une campagne d’empoisonnement | Enquête sur les domaines apparus, archivage des preuves, alerte de la cellule |
Cette lecture distingue ce qui relève de la technique (une page, un index), de la communication (un vide à combler) et de la crise (une campagne). C’est elle qui transforme l’audit en outil de décision.
Étape 6 : du rapport à l’action
Le rapport mensuel tient sur une page et répond à cinq questions : où en est l’indice, par assistant et en tendance ; quelles sont les cinq erreurs les plus graves et leurs sources ; quelles sources adverses apparaissent ; quelle part des sujets sensibles dispose d’une page de faits ; quelles actions sont engagées et par qui. Chaque erreur grave est reliée à une action du plan GEO défensif ou du plan de crise, avec un responsable et une échéance.
Deux disciplines complètent la restitution. L’archivage horodaté de chaque réponse problématique, car la prescription de trois mois en matière de diffamation court dès la première publication et qu’un dossier de preuves construit a posteriori ne vaut rien. Et la gouvernance : un responsable de la réputation IA, une cellule mixte communication, SEO, juridique et cybersécurité, et un circuit d’escalade écrit.
Les huit pièges de l’audit
- Des prompts trop bienveillants, rédigés par des gens qui aiment leur organisation, qui ne testent jamais les questions inconfortables.
- Un seul assistant, alors que les sources ne se recoupent qu’à 11 % entre plateformes.
- Une seule exécution, qui confond un accident de tirage avec une erreur structurelle.
- La contamination par la mémoire et la personnalisation, qui rend les réponses de l’auditeur différentes de celles du public.
- Des comptes qui entraînent les modèles avec les propres questions sensibles de l’organisation.
- L’audit par l’API uniquement, qui ne reflète pas l’interface utilisée par les publics.
- Compter les mentions sans noter l’exactitude : être cité avec une erreur majeure est pire que ne pas être cité.
- Oublier de mettre à jour la banque après une nomination, une acquisition ou une polémique.
Le gabarit à reproduire
Un tableur à cinq onglets suffit pour démarrer, et sa structure prépare la migration vers un outil spécialisé.
- Périmètre : entités, sujets sensibles, langues, assistants, modes, publics-types.
- Banque de prompts : identifiant, famille, orientation, langue, texte du prompt, version, date d’ajout, statut.
- Collecte : identifiant du prompt, assistant, mode, exécution (1 à 3), date et heure, opérateur, texte de la réponse, sources citées, lien vers la capture.
- Notation : identifiant de réponse, les six critères, indice calculé, indicateur d’incident, commentaire du relecteur.
- Synthèse : indice par assistant et par famille, tendance mensuelle, top 5 des erreurs, sources adverses, couverture des pages de faits, plan d’actions.
FAQ : audit de réputation IA
Combien de prompts faut-il pour un audit fiable ?
Entre 30 et 50 par entité, répartis sur six familles de questions et déclinés en trois orientations et dans chaque langue du périmètre. En dessous de 20 prompts, l’échantillon ne couvre pas les sujets sensibles ; au-delà de 50, le gain d’information ne justifie plus le coût de notation.
À quelle fréquence auditer ?
Chaque mois en temps normal, chaque semaine avant une opération sensible, chaque jour en crise. Les modèles en navigation désactivée évoluent par cycles de plusieurs mois ; les réponses en navigation activée peuvent changer du jour au lendemain.
Les réponses changent à chaque fois : l’audit est-il fiable ?
Oui, à condition de le concevoir comme une mesure de fréquence et non comme un relevé unique. Trois exécutions par prompt, un indice agrégé et une note plancher rendent les résultats comparables d’un mois à l’autre, alors qu’une capture d’écran isolée ne prouve rien.
Faut-il un outil spécialisé ?
Pas pour commencer. Un tableur et une équipe formée suffisent pour 240 réponses par mois. Les plateformes de suivi de visibilité IA deviennent utiles au-delà, pour automatiser la collecte et suivre les sources citées, mais la notation de l’exactitude sur les sujets sensibles reste un travail humain.
Qui doit noter les réponses ?
Un binôme : un relecteur de la communication, qui connaît les faits de référence, et un relecteur extérieur à l’organisation (agence, juriste, auditeur), qui n’a pas le réflexe de l’indulgence. Les désaccords de notation sont arbitrés sur la fiche de faits, jamais à l’intuition.
Conclusion : mesurer avant de corriger
L’audit de réputation IA est la première brique de toute stratégie de communication de crise à l’ère générative, parce qu’il remplace l’intuition par une mesure et le hasard par un protocole rappelle l’expert en communication de crise Florian Silnicki, Président Fondateur de l’agence LaFrenchCom. Il révèle les vides informationnels que le GEO défensif doit combler, détecte les signaux faibles d’une campagne de LLM grooming avant qu’un journaliste ne les découvre, et constitue le dossier de preuves dont le juridique aura besoin.
Son coût est modeste : une banque de prompts, une grille, un tableur et quelques jours par mois. Son absence coûte bien plus : apprendre par un client, un candidat ou un acheteur public ce qu’une machine dit de vous depuis des semaines.