GRC Careers: Governance, Risk and Compliance JobsGovernance · Risk · Compliance Careers

Valideriez-vous cette mise en production d’IA ? Un cas pratique sur les modifications après évaluation

8 novembre 2026

Par , Président-directeur général, GRC Careers

En bref : une évaluation d’intelligence artificielle (IA) ne vaut que pour la version qu’elle a testée. Si l’équipe modifie le système après une évaluation réussie, comparez le manifeste évalué à la version candidate. Classez chaque preuve : valide, périmée, manquante, en échec ou incertaine. Refaites les tests que les modifications touchent. Un seul responsable, désigné par sa fonction, valide, suspend ou fait remonter la décision. Ce cas suit une mise en production fictive, étape par étape.

Mis à jour le 8 novembre 2026. Nous avons vérifié ce jour-là toutes les sources de cette page.

Pour qui. Ce cas s’adresse aux professionnels de l’audit, de la protection des données, des risques ou de la conformité qui veulent démontrer leur jugement en assurance de l’IA. Il sert aussi aux recruteurs qui cherchent un exercice pratique équitable. Partez d’une compétence que vous exercez déjà. L’AI Assurance Engineering Skills Map (en anglais) montre comment en faire un projet de portfolio à présenter en entretien. Ce cas développe ses projets 2 (la règle de nouveau test) et 3 (le point de contrôle avant mise en production).

Sur cette page :

Que s’est-il passé entre l’évaluation et la demande de mise en production ?

L’équipe a évalué la version H-3 le jour 1, avec succès. Au cours des deux semaines suivantes, cinq éléments ont changé. Quatre d’entre eux peuvent modifier ce que l’assistant dit ou fait. Le jour 16, l’équipe a demandé la mise en production sous le nom H-3.1. Tout est fictif dans ce cas : Harbor Services, son système, les versions, les jours et les résultats.

Harbor Services est l’entreprise fictive du Skills Map. Son assistant documentaire interne rédige des synthèses pour le personnel à partir de documents validés. Il peut aussi créer des tickets à l’état de brouillon. Il ne peut ni approuver un paiement ni modifier une fiche client. La version H-2 est en production. Nous ne lui attribuons aucune classification de risque au sens juridique. La section sur le règlement européen sur l’IA explique ce qui changerait s’il s’agissait d’un système d’IA à haut risque.

Chronologie de Harbor (fictive) :

Quelle version l’évaluation a-t-elle réellement couverte ?

L’évaluation couvre les composants inscrits dans son manifeste le jour du test. Elle ne couvre pas ce qui porte aujourd’hui le nom de la version. Le manifeste est la liste des composants et de leurs versions. Comparez-le ligne par ligne avec la version candidate. Si un composant n’y figure que sous un nom mobile, comme l’alias d’un modèle, le dossier ne prouve pas quelle version a été testée.

Exemple Harbor (fictif). Le dossier EV-H3 indique :

Le titre du rapport annonce que H-3 a réussi. Le manifeste montre que H-3 désignait R-7, P-5 et T-3. Harbor peut déduire de l’avis de changement du fournisseur que le test du jour 1 a utilisé l’ancien instantané. Son propre dossier ne le prouve pas. Et H-3.1 fonctionnerait avec le nouvel instantané.

Pourquoi le manifeste compte. Une prépublication de recherche sur la réutilisation des preuves d’assurance pose deux conditions. La réutilisation n’est sûre que si les dépendances déclarées de chaque contrôle couvrent tout ce qui peut en changer le résultat. Elle suppose aussi que le point de contrôle vérifie que la preuve réutilisée décrit bien la version candidate (Mukhopadhyay et Nalla, arXiv 2610.27672, version 1, page de présentation). Les auteurs ont rejoué 38 083 commits issus de 714 chaînes publiques Data Version Control. Dans 3,3 % des cas, une étape a été réutilisée alors que son code importé ou sa configuration avait changé. Les étapes d’évaluation étaient les plus exposées (même source). L’échantillon est constitué de dépôts publics. Ce chiffre décrit donc cet échantillon et ne dit rien de direct sur les systèmes d’IA des entreprises.

Ce qu’il faut demander :

Le règlement européen sur l’IA impose la même rigueur aux systèmes à haut risque. Leur documentation technique doit indiquer « la version du système, faisant apparaître sa relation aux versions précédentes » (annexe IV, point 1 a)).

Qu’est-ce qui a changé après l’évaluation ?

Cinq éléments ont changé entre le jour 1 et le jour 16. Quatre peuvent modifier ce que l’assistant dit ou fait. Le cinquième n’a aucun effet sur le modèle. Classez chaque modification selon ce qu’elle peut affecter, et non selon sa taille dans la demande de changement.

Modification (fictive)NatureCe qu’elle peut affecter
Consigne P-5 vers P-6 : liste d’actions et deux exemplesConsigne ou configurationLe contenu et l’exactitude des synthèses
Index R-7 vers R-8 : politiques RH, nouvelle étiquetteDonnées et étiquettes d’accèsLa qualité de la recherche, les fuites entre étiquettes, les données à caractère personnel
Alias assist-large déplacé le jour 9Version du modèleTout résultat qui dépend de la sortie du modèle
Politique T-3 vers T-4 : priorité et affectation sans validationAccès aux outils et autonomieL’autorisation, la validation humaine, la maîtrise des erreurs
Bouton Résumer devenu Rédiger une synthèseTexte de l’interfaceRien de ce que voit le modèle. Le différentiel de code montre que le libellé ne lui est pas transmis.

Deux sources expliquent pourquoi une nouvelle consigne ne peut pas passer sans test. La première est le profil IA générative du National Institute of Standards and Technology (NIST) américain. Il relève que la sensibilité aux consignes peut creuser l’écart entre les bancs d’essai et l’usage réel (NIST AI 600-1, annexe A.1.4, page 49). La seconde est une prépublication de novembre 2026. Huit configurations d’un même modèle y obtiennent entre 68,2 % et 70,3 % d’exactitude. Pourtant, 24,3 % des questions reçoivent une étiquette différente selon la configuration (Yorke, arXiv 2611.06655, version 1, page de présentation).

Quelles preuves restent valables ?

Une preuve reste valable si rien de ce dont elle dépend n’a changé. Elle le reste aussi si une note d’équivalence écrite montre que la modification ne peut pas l’affecter. Chez Harbor, deux preuves sur six restent valables pour H-3.1. Trois sont périmées ou manquantes. La dernière manque parce qu’une modification demandée supprime le contrôle qu’elle testait.

Preuve (fictive)Périmètre testéStatut pour H-3.1Motif
E1 Qualité des synthèses, 300 documentsP-5, R-7, instantané du jour 1PériméeConsigne, index et modèle ont changé
E2 Requêtes pièges, 40Étiquettes d’accès de R-7PériméeR-8 ajoute l’étiquette « RH restreint », jamais testée
E3 Limites d’accès des ticketsDroits de T-3, appliqués par la passerelle d’outilsValable pour T-3 seulementPasserelle inchangée. T-4 ajoute des droits jamais testés.
E4 Validation humaine, politique G-5Le personnel valide chaque action sur un ticketManquante pour T-4T-4 agit sans validation, ce que G-5 interdit
E5 Revue protection des données des sourcesLes sources de R-7Manquante pour la bibliothèque RHAucune revue ne couvre la nouvelle source
E6 Retour arrière vers H-2 en moins de 30 minutesMécanisme de déploiement et procédureValableMécanisme inchangé. Test réalisé dans la fenêtre de 90 jours. Ajouter R-8 et P-6 au manifeste.

L’objectif de 30 minutes et la fenêtre de 90 jours sont des choix fictifs de Harbor. Aucune source citée ici ne les fixe.

Schéma du cas fictif Harbor Services. À gauche, la version évaluée H-3 du jour 1 avec l’alias de modèle assist-large, l’index R-7, la consigne P-5 et la politique d’outils T-3. À droite, la version candidate H-3.1 du jour 16 avec un instantané de modèle plus récent, l’index R-8, la consigne P-6 et la politique T-4. Au centre, le statut des preuves : E1 périmée, E2 périmée, E3 valable pour T-3 seulement, E4 manquante pour T-4, E5 manquante, E6 valable. En bas, la décision : suspendre H-3.1, faire remonter T-4 au comité de gouvernance de l’IA et valider H-3.2 sans T-4 après les nouveaux tests, sous la responsabilité de la direction des Opérations de service.
De la version évaluée à la décision de mise en production, dans le cas fictif Harbor Services. Le texte du schéma reprend les tableaux de cette page.

Comment attribuer chaque statut :

Que faut-il tester à nouveau avant la mise en production ?

Refaites chaque contrôle obligatoire dont la preuve est périmée ou manquante, sur la version candidate exacte. Pour le reste, ne touchez à rien et notez pourquoi. Harbor refait deux tests, ajoute une revue, reporte deux tests jusqu’à la décision du comité et rédige une note d’équivalence.

Plan de Harbor (fictif) :

Ce plan applique la règle du projet 2 du Skills Map. Si une version candidate modifie une donnée d’entrée d’un contrôle obligatoire, l’ancien résultat ne peut pas être réutilisé. Seule exception : une règle d’équivalence documentée montre que la modification ne peut pas affecter ce contrôle. Le cadre de gestion des risques de l’IA du NIST (AI RMF) classe ses attentes en quatre fonctions : gouverner (GOVERN), cartographier (MAP), mesurer (MEASURE) et gérer (MANAGE). Sa sous-catégorie MEASURE 2.3 demande de démontrer la performance dans des conditions proches du déploiement (AI RMF 1.0, page 29). Cette démonstration doit être documentée. L’ajout de la bibliothèque RH relève aussi du profil IA générative. Son action MP-4.1-008, rattachée à la fonction MAP, demande de réévaluer les risques quand on adapte un modèle à un nouveau domaine (NIST AI 600-1, page 26).

Valider, suspendre ou faire remonter la décision ?

Suspendez H-3.1, faites remonter la nouvelle autorisation d’outil et validez une version plus restreinte une fois les nouveaux tests réussis. On suspend quand le responsable de la mise en production peut combler les écarts lui-même. On fait remonter quand une modification exige une décision qui dépasse son autorité.

DécisionQuand la prendre
ValiderChaque contrôle obligatoire a une preuve valable pour cette version exacte. Aucun constat bloquant n’est ouvert. Le responsable désigné signe.
SuspendreUn contrôle obligatoire n’a pas de preuve valable. L’équipe peut combler l’écart par des tests ou des correctifs que le responsable peut autoriser.
Faire remonterConflit avec une politique, changement de destination ou de niveau de risque, risque hors de l’autorité du responsable, désaccord entre responsables.

Ces règles sont une recommandation éditoriale de GRC Careers. Aucune norme ne les fixe.

Décision de Harbor (fictive) :

Scinder la mise en production permet de livrer ce que les preuves couvrent et de confier le reste à ceux qui peuvent en décider. L’AI RMF du NIST décrit ce moment comme la décision de poursuivre ou non le développement ou le déploiement (AI RMF 1.0, MANAGE 1.1, page 32). Il cite comme réponses possibles l’atténuation, le transfert, l’évitement ou l’acceptation du risque (MANAGE 1.3, même page).

Qui porte la décision de mise en production ?

Une seule fonction décide, et le dossier la nomme avant toute signature. Chez Harbor, c’est la direction des Opérations de service. Ceux qui produisent ou examinent les preuves conseillent. Le comité ne tranche que ce qu’on lui soumet.

Rôles chez Harbor (fictifs ; ce sont des fonctions, pas des personnes) :

Ce dernier point reprend la note d’indépendance du Skills Map. L’audit interne peut conseiller sur la conception des contrôles. Le management opérationnel reste propriétaire du contrôle et accepte le risque métier. L’AI RMF du NIST demande que les rôles, les responsabilités et les circuits de communication sur les risques de l’IA soient documentés et clairs. Il demande aussi que la direction générale assume les décisions sur les risques liés au développement et au déploiement de l’IA (AI RMF 1.0, GOVERN 2.1 et GOVERN 2.3, page 23). Il prévoit enfin que des experts internes extérieurs au développement, ou des évaluateurs indépendants, participent aux évaluations régulières (MEASURE 1.3, page 29).

À quoi ressemble une décision de mise en production complète sur une page ?

Elle nomme le manifeste évalué, chaque modification ultérieure, le statut de chaque preuve, la décision, ses conditions, son responsable et les événements qui la rouvriraient. Voici le dossier signé le jour 16 par la direction des Opérations de service de Harbor. Tout y est fictif.

Dossier de décision RD-H3.1 (fictif)

  • Système : assistant documentaire interne de Harbor Services. En production : H-2.
  • Version candidate : H-3.1. Date de décision : jour 16. Préparé par : le responsable de l’assurance technique.
  • Évaluation retenue : EV-H3, jour 1. Manifeste : alias assist-large (instantané non consigné), R-7, P-5, T-3, G-5, jeu de test TS-3.
  • Manifeste candidat : instantané plus récent derrière le même alias, R-8, P-6, T-4, G-5.
PreuveStatutAction avant mise en productionResponsable
E1 Qualité des synthèsesPériméeFiger l’instantané ; refaire avec P-6, R-8 et un sous-ensemble RHAssurance technique
E2 Requêtes piègesPériméeRefaire avec des requêtes « RH restreint » hors RHAssurance technique
E3 Limites d’accès des ticketsValable pour T-3 seulementConserver pour H-3.2 ; refaire seulement si T-4 est validéeAssurance technique
E4 Validation humaine (G-5)Manquante pour T-4Faire remonter T-4 ; G-5 ne souffre pas de dérogation à ce niveauComité de gouvernance de l’IA
E5 Revue protection des donnéesManquante pour la bibliothèque RHExaminer la bibliothèque RH avant la mise en service de R-8Référent protection des données
E6 Retour arrièreValableAjouter R-8 et P-6 au manifeste de retour arrièreAssurance technique
  • Sans nouveau test : le libellé du bouton. Note d’équivalence : le libellé n’est pas transmis au modèle.
  • Décision : suspendre H-3.1. Faire remonter T-4 au comité de gouvernance de l’IA. Valider H-3.2 (H-3.1 sans T-4) quand E1, E2 et E5 sont couvertes et E6 à jour.
  • Risque résiduel accepté par : la direction des Opérations de service, pour H-3.2 seulement.
  • Rouvrir la décision si un nouveau test échoue ou si le fournisseur retire l’instantané figé. La rouvrir aussi en cas de nouvelle source documentaire ou de nouvelle étiquette d’accès. Même règle si la surveillance détecte un contenu restreint dans une synthèse ou une hausse des corrections par le personnel.
  • Signatures : direction des Opérations de service (responsable de la mise en production), responsable de l’assurance technique, référent protection des données. L’audit interne reçoit une copie et ne signe pas.

Télécharger cet exemple complété (PDF, une page)

S’agit-il d’une « modification substantielle » au sens du règlement européen sur l’IA ?

Seul un système d’IA à haut risque peut déclencher la règle sur la modification substantielle. Il faut en outre que la modification intervienne après la mise sur le marché ou la mise en service. L’assistant de Harbor n’est pas classé : la règle ne s’applique pas à ce cas. S’il s’agissait d’un système à haut risque déjà en service, une modification substantielle imposerait une nouvelle procédure d’évaluation de la conformité.

Ce que dit la version consolidée du 27 juillet 2026, qui intègre les modifications du règlement (UE) 2026/1744 :

Notre lecture, qui ne constitue pas un avis juridique. La question interne (nos preuves couvrent-elles cette version ?) et la question juridique (cette modification est-elle substantielle ?) sont distinctes. Une nouvelle consigne peut rendre une preuve de test périmée sans constituer une modification substantielle. Harbor suspendrait quand même la mise en production. Qualifier une modification de substantielle relève d’une analyse juridique, au vu des faits et du texte en vigueur à ce moment-là.

Que disent les cadres du NIST sur les modifications après évaluation ?

L’AI RMF du NIST est d’application volontaire. Il ne fixe aucune règle de nouveau test. Plusieurs de ses sous-catégories correspondent toutefois à cette décision. Son profil IA générative demande une réévaluation quand un modèle est enrichi ou transposé dans un nouveau domaine. Le NIST indique que l’AI RMF 1.0 est en cours de révision : vérifiez s’il existe une édition plus récente avant de le citer.

Actualité des textes : l’AI RMF 1.0 date du 26 janvier 2023, le profil IA générative du 26 juillet 2024. Le 8 novembre 2026, la page de l’AI RMF sur le site du NIST indiquait que l’AI RMF 1.0 est en cours de révision dans le cadre du plan d’action de la Maison-Blanche sur l’IA.

Nous ne rattachons pas cet exercice aux clauses de la norme ISO/IEC 42001. Pour son articulation avec le règlement, voir notre comparaison entre ISO/IEC 42001 et le règlement européen sur l’IA (en anglais).

Quelles compétences ce cas démontre-t-il en audit, protection des données, risques et conformité ?

Il démontre que vous savez vérifier si une preuve correspond à ce qui part réellement en production. C’est un jugement que l’audit, la protection des données, les risques et la conformité exercent déjà. Partez de votre propre métier et montrez au recruteur la partie du cas qui le prouve.

Votre métierUne compétence que vous exercezOù elle apparaît dans le casCe que vous montrez
Audit interne ou audit informatiqueTester la gestion des changements : ce qui est déployé correspond-il à ce qui a été approuvé ?La comparaison du manifeste du jour 1 avec H-3.1Le tableau des preuves, avec un motif pour chaque statut
Protection des donnéesExaminer une nouvelle source de données avant le début du traitementE5, la bibliothèque RHUne demi-page sur R-8 : types de données, étiquettes d’accès, qui voit quoi
RisquesSeuils de remontée et acceptation du risqueSuspendre ou faire remonter ; T-4 soumise au comitéLes règles de décision et une courte note au comité
ConformitéAnalyse d’applicabilité et suivi des obligationsH-3.1 serait-elle une modification substantielle si le système était à haut risque ?Un paragraphe d’applicabilité, avec sources et questions ouvertes

Le vocabulaire officiel du règlement figure dans notre lexique anglais-français de l’IA et du règlement général sur la protection des données (RGPD). Notre glossaire de la gouvernance, des risques et de la conformité (GRC) de l’IA le complète. Notre article Le règlement européen sur l’IA, expliqué donne le contexte d’ensemble.

Question d’entretien : le système a réussi l’évaluation, puis il a changé. Que demanderiez-vous à voir ?

« Un système d’IA a réussi son évaluation, mais l’équipe l’a modifié ensuite. Que demanderiez-vous à voir avant de valider la mise en production ? »

Une bonne réponse explique :

Une réponse faible dit « l’évaluation a réussi, on livre ». Ou bien elle exige de tout refaire sans dire ce qui a changé ni quels résultats la modification peut affecter.

Une question de relance. Changez un fait : le fournisseur confirme que l’instantané derrière assist-large n’a pas changé. Demandez quels statuts évoluent. Une bonne réponse indique que le modèle n’impose plus de refaire E1, mais que la consigne et l’index l’imposent toujours. E1 reste donc périmée.

Télécharger le formulaire de décision vierge

Le formulaire vierge reprend les champs du dossier de Harbor. Remplissez-le à la main ou dans le tableur, qui propose des listes déroulantes pour le statut des preuves et la décision.

Ce formulaire est un exercice éditorial de GRC Careers. Ce n’est pas une norme, et un exemplaire rempli ne constitue pas un document de conformité.

Comment en faire une pièce de portfolio ?

Changez un fait à la fois et refaites le dossier. Un relecteur doit pouvoir reproduire votre décision à partir de la page, sans vous poser de question.

Présentez le tout comme une simulation et utilisez des données synthétiques. Ne présentez jamais un exercice d’apprentissage comme un système en production ni comme une preuve de conformité juridique.

Sources et vérifications

Toutes les sources ont été vérifiées le 8 novembre 2026.

  1. Règlement (UE) 2024/1689 (règlement sur l’intelligence artificielle), version consolidée du 27 juillet 2026, intégrant le règlement (UE) 2026/1744. Articles 3, point 23 ; 12, paragraphe 2, point a) ; 25, paragraphe 1, point b) ; 43, paragraphe 4 ; 96, paragraphe 1, point c) ; 113, point c). Annexe IV, points 1 a), 2 f), 2 g) et 6. Version consolidée sur EUR-Lex.
  2. NIST AI 100-1, Artificial Intelligence Risk Management Framework (AI RMF 1.0), janvier 2023. GOVERN 2.1 et 2.3 (page 23), MEASURE 1.3, 2.1 et 2.3 (page 29), MANAGE 1.1 et 1.3 (page 32), MANAGE 4.1 (page 33). NIST AI 100-1 (PDF, en anglais).
  3. NIST AI 600-1, Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile, juillet 2024. MP-4.1-007 et MP-4.1-008 (page 26), MS-2.8-003 (page 34), annexe A.1.4 (pages 48 et 49). NIST AI 600-1 (PDF, en anglais).
  4. NIST, page de l’AI Risk Management Framework, pour les dates de publication et l’état de la révision. nist.gov.
  5. Atanu Mukhopadhyay et Shravya Reddy Nalla, « Reusing Assurance Evidence in AI Pipelines: Validity Conditions, a Fail-Closed Release Gate, and a Replay of 714 Public Data Version Control Pipelines », arXiv 2610.27672, version 1, 20 octobre 2026. Page de présentation. arXiv, prépublication de recherche.
  6. Louise Yorke, « Beyond accuracy: what AI assurance needs to establish in public services », arXiv 2611.06655, version 1, 4 novembre 2026. Page de présentation. arXiv. Une seule tâche, une seule famille de modèles.

Harbor Services, son système, ses versions, ses jours, ses résultats et ses rôles sont fictifs. Les règles de décision, le formulaire, les conseils d’entretien et les exercices de portfolio sont des recommandations éditoriales de GRC Careers.

Questions fréquentes

Une évaluation d’IA réussie reste-t-elle valable si le système change ?

Seulement pour ce que la modification ne peut pas affecter. Comparez le manifeste évalué à la version candidate. Tout résultat qui dépend d’un composant modifié est périmé, jusqu’à un nouveau test ou une note d’équivalence écrite.

Une nouvelle consigne (prompt) impose-t-elle un nouveau test ?

En général oui, pour tous les contrôles qui dépendent de la sortie du modèle. Le profil IA générative du NIST relève que la sensibilité aux consignes peut creuser l’écart entre bancs d’essai et usage réel (NIST AI 600-1, annexe A.1.4). Une modification qui n’atteint jamais le modèle, comme le libellé d’un bouton, appelle seulement une note d’équivalence.

Qui doit signer une mise en production d’IA ?

Un responsable unique, désigné par sa fonction. C’est en général le responsable métier du système. Il signe après que ceux qui produisent et examinent les preuves ont consigné leurs résultats. Une modification contraire à une politique, ou qui change la destination du système, remonte au propriétaire de cette politique, par exemple un comité de gouvernance de l’IA.

À lire également

Tout ce que nous publions en français · Glossaire de la gouvernance de l’IA et de la GRC

Emplois liés au règlement européen sur l’IA · Tous les postes GRC

This site in English