La persistance des schémas discriminatoires dans les outils de sélection

L’architecture même des algorithmes dédiés au recrutement ou à l’évaluation du personnel ne garantit pas automatiquement l’impartialité. Le service officiel européen de l’AI Act met en garde contre le fait que ces systèmes peuvent perpétuer des schémas de discrimination existants. Lorsqu’une intelligence artificielle est entraînée sur des données historiques reflétant des inégalités passées, elle a tendance à reproduire ces biais dans ses décisions futures.

Cela concerne directement les processus de recrutement, où la classification automatique des candidats peut exclure injustement certaines catégories de personnes sans que l’humain ne s’en rende compte immédiatement. Le risque est donc systémique : il ne s’agit pas d’une erreur ponctuelle mais d’une logique interne au dispositif qui valide une posture technocratique aveugle aux réalités sociales.

L’exigence de supervision humaine et de voies de contestation

Face à ces dangers, la maîtrise des biais dommageables devient un critère central pour définir une IA digne de confiance. Le NIST intègre cette exigence dans ses standards, soulignant que la technologie seule ne suffit pas. Il faut instaurer des mécanismes robustes permettant aux individus contestés de comprendre les décisions qui les concernent et de faire valoir leurs droits.

La supervision humaine reste indispensable pour vérifier les résultats générés par le logiciel avant qu’ils n’aient un impact sur la carrière d’un candidat ou d’un employé. Sans cette intervention, l’automatisation risque de transformer des préjugés en règles immuables, rendant la contestation juridictionnelle ou administrative extrêmement difficile pour le citoyen lambda.

Les limites de la mesure et les critères de validation

La régulation ne se limite pas à une simple déclaration d’intention. Le service officiel européen précise que l’analyse doit inclure les limites inhérentes à toute mesure quantitative. Il est crucial de ne pas diagnostiquer un système non documenté comme étant intrinsèquement dangereux sans preuve tangible. L’objectif est d’établir des critères clairs permettant d’identifier les usages à haut risque avant qu’ils ne se généralisent. Cette approche prudente vise à éviter le catastrophisme tout en maintenant une pression constante sur les développeurs et les employeurs pour qu’ils adoptent des pratiques éthiques rigoureuses.

Source : Commission européenne — https://ai-act-service-desk.ec.europa.eu/pl/node/464