L'IA de McKinsey hackée par l'IA

Profitant d'une politique accommodante et d'une annonce publique tentatrice de la part de sa cible, CodeWall a voulu éprouver son outil de recherche de failles de cybersécurité sur Lilli, la plate-forme d'intelligence artificielle mise à la disposition des 43 000 collaborateurs de McKinsey & Company. Les résultats divulgués sont édifiants.

Deux mots sur le service en question, similaire à ceux déployés dans tous les grands cabinets de conseil. Conçu et développé en interne, il est déjà utilisé par 70% des effectifs, qui lui soumettent actuellement un demi million de requêtes par mois, pour des conversations libres, afin d'obtenir des réponses à des questions simples, pour l'analyse et la synthèse de textes ou pour des recherches avancées sur un corpus de plus de 100 000 documents existants et autres contenus propriétaires.

Lorsque CodeWall a « lâché » son Sherlock Holmes virtuel, lui-même propulsé à l'IA, il ne lui a fallu que deux heures pour repérer et exploiter une brèche, depuis l'extérieur de l'entreprise, sans rien connaître de l'implémentation de la solution et, évidemment, sans posséder le moindre identifiant d'accès. Et elle était sérieuse (elle est désormais comblée) puisqu'elle permettait de consulter l'ensemble de la base de données sous-jacente, composée de 46 millions de messages, 700 millions de fichiers et plus…

Mais la divulgation des échanges sur les stratégies des clients de McKinsey, les finances de la société, les opérations de fusion-acquisition qu'elle accompagne, les supports contenant l'essentiel de son expertise… n'est pas le pire de cette histoire. Les chercheurs avaient également la possibilité de modifier les éléments de « raisonnement » et les garde-fous mis en en œuvre par Lilli, sans que les utilisateurs ne puissent se rendre compte d'une influence extérieure dans leurs interactions.

Derrière cette attaque (bienveillante), on découvre hélas des fautes de débutant. Pour l'essentiel, le robot de CodeWall a simplement découvert et « étudié » une documentation ouverte à tous sur des API privées exposées par la plate-forme, a repéré qu'une partie d'entre elles ne requéraient aucune authentification et, enfin, a déterminé par essais et erreurs successifs qu'elles étaient susceptibles à une méthode d'infiltration (dite « par injection SQL ») parfaitement connue depuis de longues années.

Or ce genre de faiblesse correspond à un motif que j'ai observé par le passé : malgré tous les efforts des équipes de sécurité et la prise de mesure rigoureuses de protection contre les défauts les plus fréquents, largement documentés, dès qu'apparaît une technologie innovante, dont le déploiement semble soudain urgent, toutes les bonnes pratiques sont oubliées. Même dans le cas d'expérimentations, le système d'information dans sa globalité se trouve souvent mis en péril par cet angle mort.

Aujourd'hui, une telle négligence est encore moins tolérable qu'auparavant. En effet, comme le démontre CodeWall, l'intelligence artificielle constitue un puissant allié pour la recherche des failles. Entre les mains de personnes mal intentionnées, elle est capable d'ouvrir des portes dérobées dans les systèmes à un rythme industriel que les approches traditionnelles de cyberdéfense ne pourront jamais absorber. L'anticipation et la prévention sont plus que jamais indispensables, jusque dans l'innovation.