Avant l'IA, identifier les biais

Sous la houlette du Hub France IA, association à but non lucratif qui fédère l'écosystème hexagonal de l'intelligence artificielle, trois grandes banques ont rédigé un livre blanc ^[PDF] destiné à rassembler quelques réflexions essentielles sur la maîtrise des risques dans le domaine, offrant l'occasion de se pencher en détail sur l'un d'eux.

Le sujet est éminemment stratégique, en raison à la fois de ses enjeux intrinsèques et de la future réglementation européenne, aussi n'est-il pas si surprenant que BNP Paribas, La Banque Postale et Société Générale participent à l'effort collectif, en y impliquant leurs spécialistes de la gestion des risques et de l'analyse de données. Le résultat est logiquement assez embryonnaire – les auteurs admettent immédiatement ne pas avoir visé l'exhaustivité – mais il a le mérite de poser quelques principes salutaires.

Le document se compose d'une introduction dédiée à la présentation du contexte, notamment dans l'univers bancaire, d'une description de la dizaine de risques considérés et d'une série de recommandations, hélas relativement théoriques, sur les moyens de les contrôler. Laissant de côté l'adéquation aux besoins, la protection des données, l'explicabilité…, certes tout aussi importants, je m'arrêterai ici sur la problématique des biais, largement abordée, pour laquelle les préalables me semblent sous-estimés.

Prenant des formes variées (rappelées de manière synthétique dans le rapport) et affectant, selon les cas, les échantillons d'entraînement, les algorithmes et modèles d'apprentissage ou encore les opérateurs, ces erreurs systématiques représentent un enjeu critique car non seulement elles impactent la qualité des applications qui en sont victimes mais, en outre, elles exposent l'entreprise utilisatrice à des crises d'image très dommageables parmi les clients (et au-delà) et à des sanctions réglementaires.

Or, en la matière, les préconisations du groupe de travail portent exclusivement sur les processus relevant directement des usages de l'intelligence artificielle, qu'il s'agisse de mesurer les dérives dans les résultats produits, de passer au crible leurs causes au sein des critères mis à contribution, d'ajuster les données fournies en entrée ou celles restituées à la sortie, de corriger manuellement les modèles générés… Mais ne faudrait-il pas au préalable tenter d'évaluer les biais existants dans le monde réel ?

J'imagine en effet que, afin de repérer efficacement les anomalies dans le reflet de la réalité que propose l'intelligence artificielle, la priorité consiste d'abord à en connaître les mécanismes et donc à les détecter et les étudier en amont, avant d'exercer le moindre traitement automatique (et l'introduction de ses propres déviations). Les mêmes outils pourraient certainement être exploités pour analyser le fonctionnement des systèmes historiques et éclairer les dangers qu'ils font encourir autant que les défauts actuels.

Le développement quasi industriel de l'IA, dans les institutions financières et ailleurs, fait cruellement ressortir la nécessité de lutter contre une multitude de biais menaçant sa performance et son acceptation. Pourtant, la majorité d'entre eux sont d'origine humaine et sont, par conséquent, présents depuis toujours dans les opérations quotidiennes. Commencer par rechercher ceux-là et essayer de les éradiquer à la source constituerait probablement un immense progrès pour la société, algorithmisée ou non.