La nature trompeuse de l’erreur avec assurance

Le profil intitulé « Artificial Intelligence Risk Management Framework : Generative Artificial Intelligence Profile », identifié sous le code NIST AI 600-1, a été rendu public le 26 juillet 2024. Publié le 26 juillet 2024 sous la référence NIST AI 600-1, ce document technique définit comme une confabulation l’acte où un modèle d’intelligence artificielle génère et expose avec certitude des informations inexactes ou mensongères. Cette définition inclut spécifiquement les situations où le contenu généré est contradictoire soit avec l’entrée utilisateur, soit avec une réponse antérieure du même modèle.

L’usage de ce terme technique permet aux ingénieurs et aux régulateurs de distinguer une simple hallucination d’une erreur commise avec une confiance excessive, un comportement particulièrement dangereux dans les applications critiques où la fiabilité est exigée. Il s’agit là d’un phénomène spécifique où l’algorithme ne se contente pas de dire « je ne sais pas », mais affirme catégoriquement une fausseté avec une assurance trompeuse.

Les piliers opérationnels pour contrer les hallucinations

Au-delà de la définition du problème, le profil de juillet 2024 décrit parmi les mesures de maîtrise nécessaires l’ancrage sur des sources vérifiables. La stratégie défendue par le NIST repose sur trois piliers opérationnels : la vérification de provenance pour garantir l’origine des données, la mise en place d’une supervision humaine avant tout usage critique, et la validation rigoureuse des sorties algorithmiques.

Ces mesures visent à contrer la tendance naturelle des modèles génératifs à inventer des faits plausibles mais inexacts. L’objectif est clair : empêcher que des informations non vérifiées ne soient diffusées comme des vérités établies, ce qui pourrait avoir des conséquences juridiques ou sociales graves pour les utilisateurs finaux. Sans ces garde-fous, le risque est de voir des systèmes automatiser la désinformation avec une crédibilité artificielle.

Un dispositif volontaire intégré au cycle de vie

Le contexte réglementaire s’appuie également sur le cadre « Artificial Intelligence Risk Management Framework », désigné par la référence NIST AI 100-1, publié le 26 janvier 2023. Ce document précise que le dispositif est destiné à un usage volontaire et non normatif, laissant aux organisations la responsabilité de son adoption. Le centre de ressources AIRC a été officiellement lancé le 30 mars 2023 pour accompagner cette mise en œuvre.

La gestion des risques y est rattachée aux activités de test, d’évaluation, de vérification et de validation, souvent abrégées sous l’acronyme TEVV. Ces activités doivent être intégrées tout au long du cycle de vie du système, depuis sa conception jusqu’à son déploiement opérationnel, assurant ainsi une surveillance continue des performances et de la sécurité des modèles d’intelligence artificielle déployés dans le monde numérique.

Cette approche volontaire invite les acteurs à intégrer la prudence dès l’origine plutôt que de subir les conséquences d’une défaillance a posteriori.

Source : NIST — https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf