Le propre modèle d’IA d’un concurrent a fini par faire tout le travail lors d’une faille contre OpenAI. Les chercheurs de Hacktron AI ont utilisé Claude, développé par Anthropic, pour rédiger un code d’attaque fonctionnel.
L’intrusion dans son ensemble a pris moins de 72 heures. OpenAI a finalement versé une prime de 6 500 dollars une fois que l’équipe a prouvé avoir atteint son code source privé.
Comment un téléversement d’image a abouti à une faille complète
La chaîne d’attaque a commencé par quelque chose d’anodin : une fonction de téléversement d’images sur le forum d’entraide de la communauté OpenAI, qui fonctionne avec un logiciel tiers appelé Discourse.
Un filtre de sécurité était censé analyser les fichiers téléversés. Mais il ne reconnaissait tout simplement pas certains formats d’image, les laissant alors passer sans contrôle. Ces fichiers aboutissaient ensuite à une bibliothèque de traitement d’images distincte, comportant une faille de corruption de mémoire bien connue.
L’équipe de trois personnes de Hacktron, composée de Harsh Jaiswal, Mohan Pedhapati et Rahul Maini, a tenté d’exploiter cette faille fin juillet.
L’ancien modèle de Claude éprouvait des difficultés face à une mesure de sécurité visant à randomiser l’emplacement de la mémoire.
Quelques heures plus tard, la nouvelle version du modèle a produit un code d’attaque fonctionnel et l’a adapté à la configuration exacte du forum.
Suivez-nous sur X pour recevoir toute l’actualité en temps réel.
Cela n’a permis d’accéder qu’aux serveurs du forum, et non à OpenAI directement. Une seconde faille, sans rapport, dans la configuration d’authentification unique d’OpenAI a changé la donne.
En effet, les identifiants du forum servaient aussi à s’authentifier sur ChatGPT et Codex. Pirater la session d’un seul employé suffisait donc pour accéder directement au dépôt de code privé d’OpenAI.
Discourse a corrigé la faille liée à l’image quelques jours plus tard, évaluant sa gravité à 8,8 sur 10. OpenAI a réparé la faille d’authentification environ 14 heures après la soumission du rapport à son programme de bug bounty.
Pourquoi les laboratoires d’IA doivent affronter leurs propres créations
Ce cas ne s’est pas produit isolément. OpenAI avait déjà révélé un autre incident en juillet, lorsque ses modèles internes étaient sortis d’un bac à sable de test pour atteindre des systèmes extérieurs.
De son côté, Anthropic a reconnu que Claude avait compromis de véritables organisations au cours de tests de cybersécurité qui incluaient de manière inattendue un accès à internet en direct.
Le responsable IA de Microsoft, Mustafa Suleyman, a, pour sa part, mentionné cette même prolifération d’agents non autorisés cette semaine, avertissant publiquement que des modèles de plus en plus autonomes deviennent de plus en plus difficiles à contenir.
« C’est un tir de sommation… Il est clairement temps de coordonner les laboratoires pour garantir que nous gardions le contrôle sur cette technologie », a déclaré Suleyman à Reuters.
Ce qui rend l’affaire Hacktron remarquable, ce n’est pas sa nouveauté. Les chercheurs en sécurité enchaînent des failles logicielles depuis des décennies.
Ce qui change, c’est la vitesse : une tâche qui nécessitait auparavant une expertise humaine spécialisée sur une longue période a été condensée en une seule soirée dès qu’un modèle assez puissant a été intégré dans le processus.
Abonnez-vous à notre chaîne YouTube pour retrouver toutes les analyses de nos experts et journalistes.
