À l'occasion de la publication d'une étude [PDF] menée par l'université de Berkeley, une sénatrice américaine, Elizabeth Warren, s'inquiète [PDF] des discriminations qu'introduit le recours à des évaluations algorithmiques dans l'attribution de crédit aux consommateurs. Il y aurait pourtant quelques raisons d'être (modérément) optimiste…
La plupart des acteurs financiers proposent désormais à leurs clients de souscrire un emprunt en ligne, sans jamais avoir à rencontrer un conseiller. Forte de ce constat, une équipe de chercheurs a voulu déterminer, à partir d'un échantillon de plusieurs millions de dossiers, si cette évolution exerçait une influence sur les écarts observés traditionnellement dans les offres en fonction de l'origine ethnique des demandeurs, en prenant soin, au maximum, d'éviter d'intégrer des biais justifiables dans ses mesures.
Les conclusions sont hélas conformes à ce qu'on pouvait attendre : de manière générale, en dépit des protections légales, les minorités hispaniques et noires essuient plus souvent des refus ou se voient appliquer des taux plus élevés (d'environ 0,04 à 0,08%) que la moyenne des citoyens. Cependant, il ressort aussi que la situation est sensiblement moins sombre dans l'univers technologique, puisque les rejets purs et simples y ressortent à un niveau « normal », tandis que l'écart de coût est moins marqué (même s'il représente plusieurs centaines de millions de dollars d'intérêts excessifs par an).
Pour le législateur (dont Elizabeth Warren), ces résultats plutôt encourageants sont immédiatement balayés et incitent au contraire à exiger des agences gouvernementales concernées qu'elles prennent des mesures coercitives. Le réflexe n'est finalement pas si surprenant car, autant les discriminations dues à des comportements humains sont implicitement admises comme inévitables et encadrées par la loi, autant leur reproduction par des automates suscite des craintes plus ou moins rationnelles de perte de contrôle.
La plupart des acteurs financiers proposent désormais à leurs clients de souscrire un emprunt en ligne, sans jamais avoir à rencontrer un conseiller. Forte de ce constat, une équipe de chercheurs a voulu déterminer, à partir d'un échantillon de plusieurs millions de dossiers, si cette évolution exerçait une influence sur les écarts observés traditionnellement dans les offres en fonction de l'origine ethnique des demandeurs, en prenant soin, au maximum, d'éviter d'intégrer des biais justifiables dans ses mesures.
Les conclusions sont hélas conformes à ce qu'on pouvait attendre : de manière générale, en dépit des protections légales, les minorités hispaniques et noires essuient plus souvent des refus ou se voient appliquer des taux plus élevés (d'environ 0,04 à 0,08%) que la moyenne des citoyens. Cependant, il ressort aussi que la situation est sensiblement moins sombre dans l'univers technologique, puisque les rejets purs et simples y ressortent à un niveau « normal », tandis que l'écart de coût est moins marqué (même s'il représente plusieurs centaines de millions de dollars d'intérêts excessifs par an).
Pour le législateur (dont Elizabeth Warren), ces résultats plutôt encourageants sont immédiatement balayés et incitent au contraire à exiger des agences gouvernementales concernées qu'elles prennent des mesures coercitives. Le réflexe n'est finalement pas si surprenant car, autant les discriminations dues à des comportements humains sont implicitement admises comme inévitables et encadrées par la loi, autant leur reproduction par des automates suscite des craintes plus ou moins rationnelles de perte de contrôle.
Je laisserai le soin aux observateurs politiques de décider s'il est nécessaire d'introduire une réglementation spécifique (et sur la manière dont elle pourrait s'exprimer). En revanche, l'alerte émise au sénat américain devrait constituer un puissant signal pour les institutions financières qui délèguent des pans entiers de leurs activités à des logiciels. Il leur faut impérativement comprendre les risques auxquels elles s'exposent, qu'ils soient réels ou de l'ordre de la perception, et s'efforcer de les écarter au plus tôt.
En matière de discriminations, en particulier, la logique voudrait que, effectivement, les algorithmes soient insensibles aux origines des candidats au crédit. Si ce n'est pas le cas et si aucun motif légitime ne permet d'expliquer de tels biais (par exemple un contexte de concurrence réduite sur certains segments), alors il faut considérer qu'ils comportent des anomalies de conception, qui doivent être recherchées et éliminées. L'enjeu n'est pas seulement éthique mais relève tout autant d'une gestion saine de l'entreprise !
En matière de discriminations, en particulier, la logique voudrait que, effectivement, les algorithmes soient insensibles aux origines des candidats au crédit. Si ce n'est pas le cas et si aucun motif légitime ne permet d'expliquer de tels biais (par exemple un contexte de concurrence réduite sur certains segments), alors il faut considérer qu'ils comportent des anomalies de conception, qui doivent être recherchées et éliminées. L'enjeu n'est pas seulement éthique mais relève tout autant d'une gestion saine de l'entreprise !
La question m'ayant été posée plusieurs fois, je précise que l'étude a porté sur des crédits garantis par l'état fédéral (via les établissements Fanny Mae et Freddy Mac), ce qui élimine automatiquement l'hypothèse de niveaux de risque différents sur des populations éventuellement défavorisées. Les biais qui subsistent sont donc bien discriminatoires.
RépondreSupprimer