Humain responsable, réponse plausible

Le profil NIST AI 600-1 vise les systèmes d’intelligence artificielle générative. Il appelle confabulation la production et la présentation avec assurance d’un contenu erroné ou faux. Cette notion peut aussi recouvrir une contradiction avec les éléments fournis au système ou avec une réponse précédente. La plausibilité de la réponse ne suffit donc pas à établir son exactitude.

La distinction compte pour les usages où une réponse sert de base à une décision. Un contrôle humain peut faire partie du dispositif avant un usage critique. Selon la situation, la personne chargée du contrôle peut comparer l’affirmation avec des éléments vérifiables ou relever une contradiction avec les informations déjà disponibles. L’objectif est de mieux évaluer ce que le résultat permet effectivement d’affirmer.

Des moyens de contrôle à adapter aux usages

Le profil présente des actions possibles, dont l’ancrage sur des éléments vérifiables, la vérification de la provenance et la supervision humaine. Leur applicabilité dépend des usages et des acteurs concernés. La provenance aide à déterminer d’où viennent les informations utilisées. Elle fournit un élément de vérification lorsque la réponse doit servir de référence.

Le cadre AI RMF 1.0 et son profil pour l’IA générative remplissent des fonctions complémentaires. Le premier décrit une approche volontaire de gestion des risques. Le profil décline cette démarche pour une famille de systèmes et précise des situations dans lesquelles l’assurance apparente d’une réponse peut tromper son lecteur. Dans un usage critique, les contrôles sont à choisir en fonction du risque et de la décision en jeu.

Des évaluations tout au long du cycle de vie

Le cadre de 2023 rattache cette démarche aux activités de test, d’évaluation, de vérification et de validation, regroupées sous le sigle TEVV. Ces activités accompagnent les systèmes au cours de leur cycle de vie. Elles donnent aux organisations des moyens de revoir leurs choix lorsque le système, ses données ou ses usages évoluent.

Le NIST a publié le cadre le 26 janvier 2023. Le centre de ressources AIRC a été lancé le 30 mars suivant pour accompagner sa mise en œuvre. Le profil spécialisé sur l’IA générative est paru le 26 juillet 2024. Il donne des pistes pour examiner une réponse qui paraît convaincante et pour déterminer le niveau de contrôle utile avant de s’y fier.

Source : NIST — https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf