L'IA sait-elle vraiment coder ?

La programmation logicielle est aujourd'hui un des domaines où le recours à l'intelligence artificielle générative est le plus courant et considéré le plus productif. Pourtant, une étude, certes imparfaite, du fournisseur de solutions de revue de code informatique CodeRabbit inciterait à relativiser son efficacité, en particulier en termes de qualité.

Pour beaucoup d'entreprises, l'IA est devenue une réalité incontournable d'abord et avant tout dans leur direction des systèmes d'information, où elle permet aux débutants de développer des applications plus rapidement et aux collaborateurs plus expérimentés de se concentrer sur les algorithmes les plus complexes. Avec ce qu'on nomme désormais le « vibe coding », encore rare mais qui se propage rapidement, elle offre même la possibilité à ceux qui ignorent tout du métier de créer des logiciels.

Malheureusement, alors qu'on imagine aisément (moi le premier) que la nature mathématique de la discipline se prête idéalement à son automatisation, l'analyse par CodeRabbit d'un échantillon de sources en licence libre révèle que les modules écrits avec l'assistance de l'IA (selon les déclarations volontaires des contributeurs impliqués) comportent beaucoup plus d'erreurs que ceux qui sont composés exclusivement par des humains, 70% de plus pour être précis, dans tous les registres considérés.

Au-delà du nombre, les anomalies introduites avec l'intelligence artificielle s'avèrent également plus critiques. Et quand on découvre que, outre les problèmes de logique, de maintenabilité, de performance…, les failles de sécurité prolifèrent – mauvaise gestion des mots de passe multipliée par presque deux, tout comme certains défauts techniques classiques, vulnérabilité bien connues de type « cross-site scripting » multipliées par trois… –, la circonspection et la prudence semblent de mise.

Ces résultats donnent d'autant plus à réfléchir que les perceptions de gains de temps grâce aux outils d'assistance semblent aussi démenties par la réalité. Une expérimentation scientifique aurait ainsi démontré que les professionnels estimant avoir travaillé 20% plus rapidement avec l'IA sont en fait plus lents d'autant, en moyenne. Une fois intégrée la durée nécessaire aux contrôles et aux corrections des bogues, sans même parler de ceux qui traverseront les mailles du filet, le bilan devient très négatif.

L'évolution augure mal de l'avenir du logiciel. Entre la liberté de création que procure l'intelligence artificielle, la propension historique des équipes à négliger les tests (et, parfois, à ne pas savoir les organiser correctement) et la tendance à accorder une confiance aveugle à la machine, la multiplication des incidents pourrait déboucher sur des crises majeures, soit à cause de défaillances directes, soit par l'exploitation malicieuse des faiblesses non détectées… qui, elle, est en croissance exponentielle.