Biais de l'IA dans les finances personnelles :parité et équité entre les sexes

L’intelligence artificielle transforme notre monde et les services financiers ne font pas exception. L’IA remodèle le secteur des services bancaires personnels, mais où en est-elle actuellement en matière de parité, de transparence et d’équité ?

Lorsqu’une personne demande un prêt aujourd’hui, il y a de plus en plus de chances qu’aucun être humain ne lise sa demande. Un algorithme basé sur les données décide s'ils sont éligibles, combien ils peuvent emprunter et quel niveau de risque ils sont considérés, souvent en quelques secondes et sans explication, façonnant discrètement les opportunités financières d'une manière que la plupart des gens ne voient jamais mais ressentent dans leur vie quotidienne.

Ces systèmes sont généralement présentés comme des outils neutres :plus rapides que les humains, plus cohérents, moins sujets aux préjugés.

Dans un secteur longtemps critiqué pour son opacité et ses préjugés, cette promesse est attrayante et fréquemment reprise dans les débats industriels et politiques. Mais cette promesse repose sur une hypothèse fragile, rarement explicitée, selon laquelle les données dont ces systèmes apprennent reflètent la vie de chacun de la même manière.

Un récent rapport de l'Agence des droits fondamentaux de l'UE, basé sur un travail de terrain dans cinq États membres, a examiné la manière dont les systèmes d'IA à haut risque sont régis par la loi européenne sur l'IA dans des domaines tels que l'emploi, les prestations publiques et l'application de la loi. L’étude a révélé un écart frappant entre l’ambition juridique et la pratique :alors que les risques de discrimination sont largement reconnus, les prestataires et les déployeurs manquent souvent des outils, de l’expertise et des conseils nécessaires pour les évaluer systématiquement. Les auto-évaluations ont tendance à être incohérentes et la surveillance reste mince.

C'est une question importante. Lorsque les données qui alimentent ces systèmes ne parviennent pas à rendre compte de la réalité financière des femmes avec la même profondeur et la même précision que celle des hommes, il en résulte non seulement une lacune technique, mais aussi une distorsion structurelle, qui détermine qui a accès au crédit, à quelles conditions et avec quelles conséquences à long terme. Pour que la finance basée sur l'IA soit équitable, les femmes doivent d'abord être « visibles » dans les données sur lesquelles s'appuient ces systèmes.

Les algorithmes ne jugent pas l’équité et ne demandent pas si un résultat a du sens, mais estiment ce qui est le plus susceptible d’être correct en fonction des données qui leur sont fournies, en dessinant des modèles et en les projetant vers l’avant. Lorsque les données sont incomplètes ou déformées, les conclusions du système reposent dès le départ sur des hypothèses fragiles.

Si les femmes sont sous-représentées, mal mesurées ou jamais analysées séparément des hommes, le système ne peut pas voir les résultats inégaux, et ce qu’il ne peut pas voir, il ne peut pas le corriger. Les préjugés sont simplement reportés et rendus routiniers.

Cette dynamique est facile à ignorer lorsque les discussions restent au niveau des modèles et de la réglementation, mais ses effets deviennent évidents dès que les systèmes automatisés sont observés dans la pratique. Dans différents pays, les données montrent avec quelle rapidité les inégalités peuvent être intégrées dans les décisions algorithmiques, non pas parce que les systèmes sont conçus pour discriminer, mais parce qu’ils reproduisent fidèlement les distorsions déjà présentes dans les données dont ils tirent des enseignements.

Le Kenya offre un exemple révélateur. Selon des études publiées, un algorithme de prêt numérique largement utilisé offrait systématiquement aux femmes des prêts inférieurs à ceux des hommes, dans certains cas de plus d'un tiers, malgré de meilleurs résultats de remboursement. Le système n'a pas délibérément ciblé les femmes :il a simplement appris des données façonnées par des disparités sociales et économiques de longue date, puis a appliqué ces modèles à grande échelle.

Ce qui compte dans cet exemple, ce n’est pas le Kenya lui-même, mais ce que le cas rend visible. L’algorithme a fait exactement ce pour quoi il a été conçu, en apprenant des comportements passés et en appliquant ces modèles de manière cohérente, mais sans la capacité de distinguer les résultats des femmes et des hommes, il n’y avait aucun moyen de détecter que les inégalités se reproduisaient en temps réel. Le problème n'était pas l'automatisation, mais la cécité.

Comment la finance peut-elle surmonter l'angle mort du genre ?

C’est là que les données ventilées par sexe deviennent essentielles. En triant les données financières par sexe, les régulateurs, les institutions financières et les concepteurs de technologies peuvent découvrir les impacts des systèmes automatisés, identifier qui a accès au financement et identifier les domaines dans lesquels les résultats commencent à diverger. Sans cette visibilité, les écarts entre les sexes restent cachés, et les écarts cachés ont tendance à devenir permanents. Dans la finance numérique, les données sont « les meilleures amies des filles », non pas comme slogan, mais comme condition pratique de la responsabilité.

La plupart des institutions financières enregistrent déjà le sexe d’un client dans le cadre de l’identification de base. Sur le papier, les informations sont là, intégrées dans les rapports de routine et les dossiers clients de base. Toutefois, en pratique, enregistrer une variable n’est pas la même chose que l’utiliser. Dans de nombreux pays, le sexe du client apparaît dans les bases de données mais n'est jamais analysé, déclaré ou surveillé par les autorités de contrôle, y compris dans les cadres de contrôle fondamentaux tels que le reporting prudentiel. Trop souvent, les données existent déjà, mais elles sont collectées, classées, puis discrètement ignorées. Le problème ne réside pas dans ce qui peut être fait, mais dans ce qui est fait.

Une finance plus équitable :les pays en développement ouvrent la voie

La situation est très différente dans les pays souvent supposés disposer de moins de ressources. Dans certaines régions d’Amérique latine et d’Afrique, les régulateurs exigent depuis des années des rapports ventilés par sexe et publient régulièrement des données sur les inégalités entre les sexes dans la finance.

Au Chili, les autorités financières suivent les différences entre les sexes en matière de prêts et de dépôts depuis plus de deux décennies, publiant régulièrement des statistiques financières ventilées par sexe.

Au Mexique, les régulateurs combinent les données bancaires avec les enquêtes nationales auprès des ménages pour comprendre comment les femmes et les hommes utilisent les services financiers et comment ils se comportent en tant qu'emprunteurs.

Cette visibilité a eu des conséquences pratiques. Au Mexique, les données de contrôle ont montré que les prêts accordés aux femmes étaient moins importants mais moins risqués, ce qui a contribué à modifier les règles de provisionnement des pertes sur prêts.

Au Chili, les données ont révélé que l’égalité d’accès aux comptes ne se traduisait pas par des résultats égaux en matière d’épargne ou d’assurance, ce qui a incité à des réponses politiques plus ciblées. Une fois ces lacunes devenues visibles, elles sont devenues beaucoup plus difficiles à ignorer.

Vue sous cet angle, la situation dans de nombreuses économies à revenu élevé ressemble moins à un retard technique qu’à une hésitation institutionnelle. Dans une grande partie de l’Europe, les données sur le genre restent volontaires ou fragmentées malgré des infrastructures de données avancées, un échec non pas de capacité technique mais de choix institutionnel. Mon prochain document politique intitulé « Les données sont les meilleures amies des filles :lutter contre les inégalités financières numériques grâce à des données ventilées par sexe », qui doit être publié en mai, explore ce sujet.

À mesure que l’intelligence artificielle s’intègre de plus en plus dans la prise de décision financière, ce choix devient plus difficile à défendre. À l’heure où l’Europe met en œuvre la loi européenne sur l’IA et débat sur la manière de réglementer la prise de décision algorithmique en finance, l’absence de données systématiques sur le genre soulève une question fondamentale :comment contrôler l’équité si les données nécessaires à la détection des inégalités ne sont jamais analysées ?

Rendre les femmes visibles dans les données n’est pas symbolique. Sans cela, la finance équitable n'est guère plus qu'une revendication.

Un e-mail hebdomadaire en anglais présentant l'expertise d'universitaires et de chercheurs. Il fournit une introduction à la diversité de la recherche issue du continent et examine certains des problèmes clés auxquels sont confrontés les pays européens. Recevez la newsletter !