Cyberattaques : quand l'IA se mesure (avec brio) aux hackers humains
Et si les intelligences artificielles étaient déjà capables de rivaliser avec les meilleurs hackers ? Des compétitions récentes sèment le trouble et révèlent des performances bluffantes.
Vous imaginez, une IA capable de déjouer les systèmes de sécurité les plus complexes, de s'infiltrer dans des réseaux comme un cyber-fantôme ? Ce scénario, digne d'un thriller technologique, est peut-être moins futuriste qu'on ne le pense. Pour en avoir le cœur net, des chercheurs ont eu une idée : mettre les IA sur le ring, face à des humains, dans des épreuves de hacking grandeur nature. Les résultats, publiés dans une étude de Palisade Research, donnent quelques sueurs froides... et beaucoup à réfléchir.
Des IA sur le gril : bienvenue aux "Capture The Flag" !
Pour tester les biscotos numériques des IA, rien de tel qu'un "Capture The Flag" (CTF). Késako ? Imaginez une sorte de chasse au trésor numérique géante où les participants, humains ou IA, doivent dénicher des failles de sécurité pour s'emparer d'un "drapeau", une chaîne de caractères unique cachée au cœur des systèmes. C'est un peu comme Fort Boyard, mais avec des lignes de code à la place des épreuves physiques, et où le Père Fouras serait un expert en cryptographie.
Deux de ces compétitions, organisées par la plateforme Hack The Box en mars 2025, ont particulièrement attiré l'attention. D'abord, "AI vs. Humans", où 400 équipes, majoritairement humaines, se sont affrontées. Ensuite, "Cyber Apocalypse", un événement d'envergure avec plus de 8000 équipes et près de 18 000 participants humains. Et dans les deux cas, les IA ont fait des étincelles.
L'art de "l'élicitation" : ou comment faire cracher le morceau à une IA
Si les IA ont brillé, ce n'est pas un hasard. Les chercheurs parlent d'« élicitation d'IA », un terme un peu barbare pour désigner l'art d'extraire la performance maximale d'une intelligence artificielle sur une tâche donnée. C'est un peu comme un entraîneur sportif qui pousserait son athlète à se dépasser. Pourquoi cet effort ? Parce que les évaluations précédentes ont souvent "dramatiquement sous-estimé" les capacités réelles des IA.
Face à ce constat, les auteurs de l'étude de Palisade Research proposent une nouvelle approche : l'élicitation participative ("crowdsourcing"). L'idée est simple : plutôt que de confier l'évaluation à une seule équipe, pourquoi ne pas laisser plusieurs équipes s'affronter pour tirer le meilleur des IA ? Une sorte de brainstorming géant et compétitif, avec des récompenses à la clé pour stimuler l'ingéniosité.
L'IA, future reine des hackers ? Des résultats qui parlent
Et les résultats, alors ? Accrochez-vous. Lors de la compétition "AI vs. Humans", les équipes IA se sont classées dans le top 5% des participants, avec quatre agents IA sur sept parvenant à résoudre 19 des 20 défis proposés. Le tout pour un total de 7500 dollars américains de récompenses. L'agent IA le plus performant, baptisé CAI, s'est même hissé à la 20ème place du classement général. Pas mal pour des programmes !
La compétition "Cyber Apocalypse" a confirmé la tendance : le meilleur agent IA s'est classé dans le top 10% de tous les compétiteurs, surpassant ainsi 90% des équipes humaines. Plus impressionnant encore, les chercheurs ont appliqué une méthodologie (celle de METR) pour estimer le niveau d'effort humain que les IA actuelles peuvent égaler. Conclusion : les IA peuvent résoudre de manière fiable des défis de cybersécurité qui demanderaient environ une heure de travail à un participant humain médian de CTF.
Un paradoxe piquant : les humains ne sont pas (encore) hors-jeu
Faut-il pour autant crier à la fin de l'hacker humain ? Pas si vite. L'étude révèle un paradoxe intéressant. Lors de "AI vs. Humans", les équipes humaines les plus rapides ont réussi à tenir la dragée haute aux IA en termes de vitesse. Leur secret ? Une grande expérience des CTF et une familiarité avec les techniques classiques pour résoudre ce type de problèmes, comme l'a confié un participant, "joueur dans plusieurs équipes de rang international avec des années d'expérience".
Il faut dire aussi que les défis de "AI vs. Humans" étaient taillés sur mesure pour les IA : des épreuves de cryptographie et de "reverse engineering" (l'art de décomposer un programme pour comprendre son fonctionnement) réalisables localement, sans interactions complexes avec des machines externes. Ce qui n'était pas le cas pour environ deux tiers des défis de "Cyber Apocalypse", où certaines IA, moins optimisées pour ces interactions, ont eu plus de mal.
Le saviez-vous ?
L'étude de Palisade Research met en lumière un phénomène baptisé "evals gap" (le fossé des évaluations) par d'autres chercheurs d'Apollo Research. En clair, on a souvent tendance à sous-estimer ce dont une IA est capable jusqu'à ce qu'on la pousse vraiment dans ses retranchements. Par exemple, une évaluation de Meta (CyberSecEval 2) rapportait initialement un taux de réussite de 5% pour une IA sur des tâches de type "buffer overflow" (une vulnérabilité logicielle). Des travaux ultérieurs, avec des modifications simples de l'agent IA, ont fait grimper ce score à... 100% ! De même, sur un autre benchmark (InterCode-CTF), les taux de réussite de GPT-40 sont passés de 40% à 92% après seulement cinq semaines d'efforts d'élicitation supplémentaires. De quoi relativiser les premières annonces !
L'arène ouverte : un meilleur révélateur du talent (caché) des IA ?
Au final, que retenir de ces affrontements numériques ? Principalement que l'évaluation des capacités offensives des IA en cybersécurité est un défi complexe, mais importante. Se fier uniquement à des tests en laboratoire, menés par une poignée d'experts, ne suffit plus.
L'approche par crowdsourcing, avec des compétitions ouvertes et des récompenses, semble offrir une alternative prometteuse et rentable pour suivre en temps réel l'évolution fulgurante de ces capacités. Comme le concluent les chercheurs, "les performances des IA issues du crowdsourcing ont largement dépassé nos attentes initiales". Ces événements permettent aussi de collecter des données précieuses sur les performances humaines à grande échelle.
Un appel est donc lancé : que les organisateurs de CTF multiplient les "pistes IA" et que des financements soutiennent ce type d'évaluations ouvertes. Car pour anticiper les risques et guider les politiques de régulation, mieux vaut savoir précisément de quoi demain sera fait.
Et qui sait, peut-être que la prochaine fois que vous pesterez contre un bug informatique, vous vous demanderez si ce n'est pas une IA facétieuse qui vous joue des tours... juste pour s'entraîner !
Auteur : Jérôme Chaudier
Expert en développement web, référencement et en intelligence artificielle, mon expérience pratique dans la création de systèmes automatisés remonte à 2009. Aujourd'hui, en plus de rédiger des articles pour décrypter l'actualité et les enjeux de l'IA, je conçois des solutions sur mesure et j'interviens comme consultant et formateur pour une IA éthique, performante et responsable.