Audit des biais d'un algorithme : mesurez l'équité de vos décisions automatisées

Votre outil de présélection écarte-t-il davantage de candidates de plus de cinquante ans, votre score client pénalise-t-il certains quartiers ? L'audit des biais d'un algorithme répond par des mesures et non par des impressions : constitution d'un jeu de test, comparaison des résultats entre groupes, recherche des variables qui jouent le rôle de substitut, analyse des erreurs et pistes de correction. Vous obtenez un rapport lisible par la direction, les RH et le DPO, avec des seuils d'alerte à suivre dans le temps, et la liste de ce qui peut être corrigé tout de suite.

Un algorithme apprend sur des données du passé, et le passé n'était pas toujours équitable. Même sans variable sensible, un modèle peut défavoriser un groupe par des substituts : code postal, parcours, type de contrat, interruption de carrière. Les entreprises sollicitent un audit des biais d'un algorithme quand elles utilisent un outil de recrutement, de scoring, de tarification ou de notation, quand un salarié ou un client conteste une décision, ou quand le règlement européen sur l'IA, appliqué progressivement, les amène à s'interroger sur leurs systèmes sensibles. Le travail consiste à définir avec vous ce que « équitable » veut dire dans votre contexte, car plusieurs mesures coexistent et se contredisent parfois, puis à les calculer sur des données représentatives. Au quotidien, vous savez où se situent les écarts, lesquels sont justifiables et lesquels ne le sont pas, et vous suivez un indicateur simple. Ce service n'est pas un avis juridique sur la discrimination : les critères interdits et leurs conséquences relèvent de votre conseil. Il n'offre pas non plus la garantie qu'un biais est absent, seulement une mesure documentée à un instant donné.

• Les groupes comparés sont choisis avec vous, selon votre contexte, plutôt que d'après une liste universelle.
• La recherche de variables substituts détecte des biais indirects, quand aucune variable sensible n'est utilisée.
• Plusieurs définitions de l'équité sont calculées, car elles ne se concilient pas toujours entre elles.
• Des cas individuels sont relus à la main pour comprendre ce que traduisent les chiffres.
• Un indicateur simple de suivi est livré pour surveiller l'évolution après chaque mise à jour du modèle.

• Cadrage des définitions d'équité retenues
• Rapport de mesures d'écart par groupe
• Analyse des causes et des variables substituts
• Pistes de correction classées par effort
• Indicateur de suivi avec seuils d'alerte
• Note de synthèse pour la direction et le DPO

• Nous craignons que notre outil de présélection défavorise certains profils sans que nous le sachions
• Une contestation de décision nous oblige à expliquer le comportement de l'algorithme
• Nous ne savons pas comment mesurer concrètement l'équité d'un modèle

Cabinet de recrutement de 50 personnes utilisant un outil de classement de CV : l'audit compare les taux de présélection par tranche d'âge et par genre et propose un ajustement des critères.

Organisme de crédit de 200 salariés avec un score maison : les écarts de décision selon le territoire et la situation professionnelle sont examinés, et les variables qui jouent un rôle de substitut sont signalées.

Entreprise de travail temporaire de 120 personnes qui attribue des missions de façon automatique : la répartition entre candidats est contrôlée, avec relecture de cas individuels pour comprendre les écarts.

Public visé

DRH · DPO · Directeur des risques · Directeur data

Tailles d’entreprise

PME · ETI

Secteurs adaptés

Recrutement et intérim · Banque et crédit · Assurance · Éducation · Santé · Services publics

Prérequis

Un jeu de données de décisions passées avec leurs résultats · Accord de la direction et du DPO sur l'usage de données sensibles pour le test · Une personne qui connaît le fonctionnement de l'algorithme

• Python
• Fairlearn
• AIF360
• pandas
• scikit-learn
• Power BI
• Jupyter

Souvent, détecter un biais avant une contestation ou un contrôle évite des reprises de processus et protège l'image de l'entreprise, sans qu'on puisse l'estimer à l'avance. Le coût de la mesure reste de l'ordre de quelques jours, à valider lors du diagnostic.