Dérives de l'IA, avec Amazon MTurk

Une équipe de recherche de l'EPFL (en Suisse) a analysé les réponses obtenues après avoir soumis une besogne typique au « turc mécanique » d'Amazon et il s'avère qu'une forte proportion d'entre elles ont été produites par une intelligence artificielle linguistique et non par un raisonnement humain, comme le promet en principe la solution…

Quand le géant du commerce en ligne lançait MTurk en 2005, il visait à combler les lacunes de l'automatisation grâce à une plate-forme industrielle donnant accès à des travailleurs rémunérés pour effectuer des micro-tâches (étiquetage de contenu, reconnaissance d'images, traduction de texte…), faciles pour une personne mais hors de portée des machines de l'époque. Aujourd'hui, au vu des progrès de ChatGPT et de ses équivalents, il semble largement obsolète… mais la réalité n'est pas si simple.

Toujours est-il que pour les recrues d'Amazon, ces outils représentent une aubaine. Ainsi, les chercheurs estiment (par une combinaison de plusieurs méthodes) qu'entre un tiers et la moitié des réponses reçues sur leur campagne de résumés d'articles ont été générées par un « grand modèle de langage » (LLM en anglais). Il n'est rien d'étonnant à ce résultat, soit dit en passant, pour un système qui rémunère la rapidité et la productivité à outrance, dans un contexte où ce genre d'assistance est accessible à moindre coût.

Les auteurs reconnaissent que le test spécifique qu'ils ont choisi est particulièrement adapté aux capacités des IA de dernière génération, ce qui explique le taux élevé de « triche » observé. Cependant, il en est probablement de même sur bon nombre des exercices habituellement confiés à MTurk et la tendance se renforcera inexorablement avec les avancées de la technologie. Il convient également de noter que les contributeurs ont certainement cherché à exploiter des raccourcis depuis toujours.

Le problème est que les utilisateurs du service d'Amazon – qui, sinon, ont tout loisir d'interroger directement ChatGPT – y recourent précisément pour sa faculté de mobiliser des cerveaux humains sur leurs problèmes. Tel est fréquemment le cas, entre autres, des concepteurs désireux d'entraîner leurs modèles d'apprentissage automatique avec des données réelles. Or si ces dernières sont synthétisées par une intelligence artificielle, la performance est médiocre et les risques (de biais, notamment) augmentent.

En conclusion, les scientifiques n'envisagent pas la disparition des besoins de solutions telles que le turc mécanique mais ils prédisent une évolution des usages, avec, par exemple, une demande accrue d'identification des contenus créés par des algorithmes. Les dérives ne pourront toutefois qu'empirer au fur et à mesure de la publication automatisée sur le web : quand la majorité des sources d'information seront touchées, la mise au point de nouveaux modèles sera contaminée et une boucle sans fin s'enclenchera. Là réside peut-être le vrai danger de la généralisation de l'IA.