Dans certains cas, la GenAI et les grands modèles de langage (LLM) intégrés à des services en ligne populaires peuvent devenir des complices involontaires d’ingénierie sociale. Récemment, des chercheurs d’ESET ont alerté sur ce risque sur X (anciennement Twitter). Il faut donc considérer comme non fiable tout résultat provenant de bots d’IA accessibles au public.

L’IA représente une menace d’ingénierie sociale sur deux plans. D’une part, les LLM peuvent être incités à concevoir des campagnes d’hameçonnage très convaincantes à grande échelle, ou encore à créer des deepfakes audio et vidéos capables de tromper même les utilisateurs les plus avertis.

Mais il existe une autre menace, plus insidieuse, appelée « Grokking » (à ne pas confondre avec le phénomène du même nom observé en apprentissage automatique).

Dans cette campagne, les cybercriminels contournent l’interdiction de X concernant les liens dans les publications sponsorisées — une mesure conçue pour lutter contre le malvertising — en diffusant des vidéos pièges à clics. Ils insèrent leur lien malveillant dans le petit champ «De» sous la vidéo. Les criminels demandent alors à Grok, le robot GenAI intégré à X, d’indiquer la provenance de la vidéo. Grok lit la publication, repère le lien et le relaie dans sa réponse. Cette technique est dangereuse car :

• Elle transforme Grok en acteur malveillant en l’incitant à republier un lien d’hameçonnage depuis un compte de confiance.

• Ces publications vidéo payantes atteignent souvent des millions d’impressions, ce qui favorise la propagation à grande échelle d’arnaques et de maliciels.

• Ces liens sont amplifiés par le référencement (SEO) et gagnent en crédibilité, Grok étant perçu comme une source fiable.

• Les chercheurs ont constaté que des centaines de comptes répétaient ce processus jusqu’à leur suspension.

• Les liens redirigent vers des formulaires de vol d’identifiants ou des téléchargements de maliciels, entraînant des risques de piratage de compte et d’usurpation d’identité.

Ce problème ne se limite pas à X ou à Grok. Les mêmes techniques peuvent être appliquées à tout outil ou LLM GenAI intégré à une plateforme de confiance. Cela illustre l’ingéniosité des criminels pour contourner les mécanismes de sécurité, ainsi que les risques liés à une confiance aveugle dans les résultats générés par l’IA.

L’injection rapide (prompt injection) est un type d’attaque dans lequel les criminels transmettent aux robots GenAI des instructions malveillantes déguisées en invites utilisateur légitimes. Ils peuvent le faire directement, via une interface de chat, ou indirectement, comme dans le cas de Grok, où l’instruction malveillante est dissimulée dans des données que le modèle traite lors d’une tâche apparemment légitime.

Dans ce cas précis, un lien malveillant est intégré aux métadonnées vidéo sous la publication, puis Grok est interrogé sur l’origine de la vidéo.

Ces attaques se multiplient. L’analyste Gartner a récemment indiqué qu’un tiers (32 %) des organisations avaient subi une injection rapide au cours de l’année écoulée.

Mais de nombreux autres scénarios similaires à celui de Grok/X existent. En voici quelques exemples :

• Un attaquant publie un lien semblant légitime vers un site web. En réalité, ce lien contient une invite malveillante. Si un utilisateur demande à un assistant IA intégré de « résumer cet article », la GenAI traite l’invite cachée dans la page et transmet la charge utile à l’attaquant.

• Un attaquant publie une image sur les réseaux sociaux contenant une invite malveillante. Si un utilisateur demande à son assistant IA d’expliquer l’image, celui-ci exécute à nouveau l’invite cachée.

• Un attaquant dissimule une invite malveillante sur un forum public en utilisant du texte blanc sur blanc ou une police minuscule. Si un utilisateur demande à un assistant IA de suggérer les meilleurs messages de la discussion, cela peut déclencher l’invite frauduleuse et pousser l’assistant à recommander un site de phishing.

• De même, si un robot de service client parcourt les publications du forum pour répondre à une question, il peut être amené à afficher un lien de phishing.

• Un acteur malveillant peut envoyer un e-mail contenant une invite cachée en texte blanc. Si un utilisateur demande à l’assistant IA de son client de messagerie de « résumer les derniers e-mails », l’assistant pourrait exécuter une action malveillante, comme télécharger un fichier infecté ou divulguer des informations sensibles.

Il y a un nombre illimité de variantes de cette menace. Il est impossible de présumer qu’un assistant IA n’a pas été piégé par un acteur malveillant ingénieux.

Les messages malveillants peuvent être dissimulés dans du texte blanc, des métadonnées ou même des caractères Unicode. Toute GenAI qui explore des données publiques pour générer des réponses est vulnérable au traitement de données « empoisonnées », susceptibles de produire du contenu malveillant. Précautions à adopter :

• Si un lien est présenté par un bot GenAI, vérifiez l’URL avant de cliquer. En cas de doute, ne cliquez pas.

• Restez vigilant face aux résultats d’IA, surtout si la réponse ou la suggestion semble incohérente.

• Utilisez des mots de passe forts et uniques, stockés dans un gestionnaire de mots de passe, et activez l’authentification multifacteur (AMF).

• Maintenez à jour tous vos logiciels et systèmes d’exploitation afin de réduire le risque d’exploitation de vulnérabilités.

• Investissez dans une solution de sécurité multicouche d’un fournisseur fiable pour bloquer les téléchargements de maliciels, le phishing et les activités suspectes sur vos appareils.

Les outils d’IA intégrés ouvrent un nouveau front dans la lutte contre le phishing. Ne nous laissons pas piéger : posons toujours des questions et gardons un esprit critique face aux réponses de l’IA.