La classification automatisée comme vecteur d’inégalité

Lorsqu’une entreprise décide d’intégrer un logiciel pour filtrer ou classer des personnes physiques, elle s’engage dans un usage qualifié de haut risque par les régulateurs. Ce statut ne dépend pas de l’intention du recruteur, mais de la nature même de l’action : trier des candidats potentiels. Le danger réside dans le fait que ces systèmes peuvent perpétuer des schémas historiques de discrimination.

Par exemple, si un algorithme a été entraîné sur des données passées où les femmes étaient moins présentes dans certains postes techniques, il pourrait classer défavorablement ou exclure automatiquement les candidatures féminines aujourd’hui. La Commission européenne rappelle explicitement que ces biais peuvent toucher le genre ou le handicap, transformant ainsi une procédure de sélection en un mécanisme d’exclusion systémique.

Les droits fondamentaux sous surveillance algorithmique

Au-delà de la simple performance du recrutement, l’utilisation de ces outils soulève des questions cruciales concernant la protection des données et la vie privée. La surveillance des performances des candidats ou des employés via ces systèmes peut porter atteinte aux droits fondamentaux garantis par le règlement (UE) 2024/1689. Il ne s’agit pas seulement d’une question de conformité administrative, mais de respect des libertés individuelles face à une logique computationnelle opaque.

Le cadre réglementaire impose que la surveillance ne devienne pas un outil de pression ou de discrimination déguisée, même lorsque les humains gardent théoriquement le dernier mot sur les décisions finales.

Un cadre volontaire pour maîtriser les biais

Face à ces risques inhérents, une réponse technique et éthique a émergé sous la forme du cadre volontaire « AI Risk Management Framework (AI RMF 1.0) » du NIST. Publié le 26 janvier 2023, ce document inclut l’équité parmi les sept caractéristiques d’une IA digne de confiance. Il vise spécifiquement la maîtrise des biais dommageables, qu’ils soient systémiques, computationnels, statistiques ou humains et cognitifs. Ce cadre s’articule autour de la nécessité de concevoir des systèmes qui ne renforcent pas les inégalités existantes. Bien que volontaire, cette approche complète l’obligation légale issue du règlement européen en offrant une méthodologie pour auditer et corriger les biais avant qu’ils n’affectent concrètement des carrières ou des vies professionnelles.

L’opacité comme obstacle à la justice procédurale

La nature opaque de ces systèmes computationnels empêche souvent les candidats de comprendre les raisons d’un refus ou d’une classification défavorable. Cette méconnaissance bloque toute possibilité de contester une décision algorithmique, transformant le processus de sélection en une boîte noire où les erreurs systémiques restent invisibles. La logique purement technique s’impose ainsi sans transparence, privant l’individu du droit à une explication claire sur les critères ayant pesé dans son élimination précoce ou tardive au sein de la procédure de recrutement.

La vigilance continue face aux biais cachés

Même si un humain conserve théoriquement le dernier mot, la pression exercée par ces outils peut déformer l’appréciation humaine et normaliser des exclusions systémiques. Les biais statistiques issus de données passées se répercutent directement sur les carrières futures sans que personne ne s’en rende compte immédiatement. Cette dynamique crée un environnement où la discrimination n’est plus le fait d’une intention malveillante, mais le résultat inévitable d’un fonctionnement automatisé qui ignore les droits fondamentaux à l’égalité et à la vie privée tout au long du cycle de gestion des ressources humaines.

Source : Commission européenne — https://ai-act-service-desk.ec.europa.eu/pl/node/464