WormGPT : ce ChatGPT criminel est une grave menace pour le Web

En enquêtant sur un forum clandestin apprécié des cybercriminels, les chercheurs en sécurité informatique de SlashNext ont découvert l’apparition d’une nouvelle IA, WormGPT. Le chatbot est spécifiquement conçu pour assister ses interlocuteurs dans leurs activités malveillantes. Il a été mis au point par un pirate, qui commercialise désormais l’outil sur des marchés noirs.

À lire aussi : L’Europe pourrait lancer son propre ChatGPT… d’ici à 2028, mais ce sera beaucoup trop tard

WormGPT, le côté obscur des IA

En miroir de FreedomGPT, WormGPT est une « alternative noire aux modèles GPT » d’OpenAI, qui sont encadrés par une série de restrictions et animent ChatGPT. Le chatbot n’est pas limité par des considérations éthiques ou légales. En clair, il peut répondre à des questions portant sur des virus, des attaques informatiques ou des arnaques en fournissant tous les détails inimaginables. A contrario, ChatGPT et consorts refusent généralement d’évoquer ce type de sujets.

WormGPT s’appuie sur GPT-J, un modèle de langage open source développé par EleutherAI, un groupe de recherche à but non lucratif spécialisé dans l’IA. Les cybercriminels ont exploité ce modèle et l’ont entraîné avec des « données liées aux logiciels malveillants ». Grâce à cette montagne d’informations, l’IA s’est spécialisée dans les activités illicites en ligne.

Parmi les cas d’utilisation de WormGPT, on trouve la création de mails de phishing personnalisés et convaincants. Les chercheurs de SlashNext ont d’ailleurs eu l’occasion de tester l’IA en lui demandant de générer un courriel convaincant à utiliser dans le cadre d’une « attaque de compromission d’e-mail professionnel », ou Business Email Compromise (BEC). Ce type d’attaque vise à manipuler un salarié afin qu’il divulgue des données sensibles sur la société ou envoie de l’argent.

En l’occurrence, ce mail devait permettre de piéger un gestionnaire de compte en lui demandant « de payer d’urgence une facture ». Pour berner sa cible, le chatbot s’est fait passer pour le PDG de l’entreprise. Les chercheurs ont été sidérés par le message imaginé par WormGPT. En quelques secondes, le robot a généré « un e-mail qui était non seulement remarquablement persuasif, mais aussi stratégiquement rusé ».

Le robot conversationnel tire d’abord son épingle du jeu grâce à « une grammaire impeccable ». C’est d’ailleurs l’un des indices permettant généralement de repérer un mail factice. Les fautes d’orthographe, les tournures de phrases étranges et alambiquées et les erreurs de syntaxe ruinent souvent le piège tendu par les pirates. Ce n’est pas le cas d’un mail rédigé par l’IA, qui est bien plus difficile à identifier. De facto, l’IA est un atout redoutable pour les pirates qui souhaitent déployer des attaques phishing, que ce soit à l’encontre du monde de l’entreprise ou des internautes lambda.

« Cette expérience souligne la menace importante posée par les technologies d’IA génératives comme WormGPT, même entre les mains de cybercriminels novices », résume SlashNext à l’issue de son enquête.

Des pirates piègent ChatGPT et Google Bard

En parallèle, de nombreux cybercriminels ont trouvé le moyen de piéger les intelligences artificielles. Sur des forums, les pirates ont mis en ligne une série de requêtes capables de contourner les restrictions de ChatGPT, Google Bard et consorts. En clair, les hackers expliquent à leurs pairs comment réaliser une attaque de prompt-injection sur les chatbots. Ce type d’attaque permet de convaincre une IA d’ignorer sa programmation et de passer outre les restrictions mises en place par ses créateurs.

Une fois que l’attaque a été menée à bien, les IA vont docilement assister les criminels et répondre à leurs questions. Par exemple, des pirates se servent actuellement de ChatGPT pour améliorer leurs messages de phishing, même s’ils ne connaissent pas bien la langue de leurs victimes, explique SlashNext :

« les attaquants, même ceux qui n’ont pas de maîtrise d’une langue, sont maintenant plus capables que jamais de fabriquer des e-mails persuasifs ».

Des stratégies facilitant la manipulation des IA sont actuellement partagées sur des marchés noirs du dark web ou des forums spécialisés. Europol, l’agence européenne de police criminelle, avait déjà souligné le « vaste potentiel » des IA génératives pour les cybercriminels. Dans un rapport publié en mars, l’agence estimait que les pirates, escrocs et autres brigands s’appuyaient déjà massivement sur des chatbots pour rédiger des mails de phishing, coder des virus ou manipuler les internautes.