AudioHijack – Le son inaudible qui pirate votre assistant IA
Meng Chen, doctorant à l’université Zhejiang, vient de prouver avec son équipe qu’on pouvait complétement détourner un assistant vocal IA avec un simple son que vous prendriez probablement pour un simple parasite. Avec sa bidouille, il a ainsi réussi à pousser les agents vocaux commerciaux de Microsoft et de Mistral à exécuter des actions que personne ne leur avait demandées.
Gloups !
L’attaque s’appelle AudioHijack, et ça consister à planque des ordres dans un fichier audio, une vidéo, un clip musical, une note vocale. Comme ça, le modèle qui l’écoutera vous obéira à VOUS, plutôt qu’à l’utilisateur. C’est comme une injection de prompt sauf que celle-ci s’entend à peine.
"Une demi-heure pour entraîner le signal, et comme il ignore le contexte, vous attaquez quand vous voulez, peu importe ce que dit l’utilisateur", résume Chen dans
son interview
. Reste qu’il faut un accès complet au modèle pour fabriquer le signal, ce que Microsoft et Mistral ne donnent pas. Alors il suffit à l’attaquant de l’entraîner sur un modèle ouvert qu’il contrôle, puis de rejoue le même signal contre le modèle fermé et en général, ça se passe bien parce qu’ils partagent souvent les mêmes briques audio.
Voilà et ça une fois que c’est fait, il suffit de "polluer" une source, et d’attendre qu’un poisson morde à l’hameçon…
Et le menu des possibilité est plutôt copieux vous allez voir. Le modèle peut par exemple prétendre qu’il ne sait pas traiter l’audio, refuser vos demandes, sortir de fausses infos, glisser un lien piégé, changer de personnalité, ou pire, déclencher des outils tout seul. Genre envoyer un mail avec vos données, ou télécharger un fichier depuis un serveur de l’attaquant s’il en a la possibilité technique (coucou MCP). Ainsi, sur les treize modèles testés, la réussite moyenne grimpe entre 79 et 96% selon le méfait.
Mais pour fabriquer ce signal vérolé, l’attaquant doit sentir dans quelle direction "pousser" le son pour rapprocher le modèle de son but, un peu comme suivre une pente vers le bas.
Sauf que ces modèles transforment l’audio en le découpant par exemple. Et la pente peut du coup devenir un escalier, puis du plat, voire une arrête cassante… c’est clairement impossible à suivre ! Mais l’équipe de Chen a réussi à reconstituer cette pente à grand coups d’échantillonnage, puis a maquillé le bruit en réverbération.
Et comme notre oreille est trop limitée pour flairer l’anomalie, ça passe tranquille… Je vous avais déjà parlé de l’injection de prompt avec
une simple doc empoisonnée qui pilote une IA
, mais là, ça pourrait même surgir de la bande son d’une simple vidéo Youtube…
Et pour se protéger de ça, y’a pas grand chose à faire à part faire relire le prompt final… Le plus sûr, c’est donc plutôt de ne pas brancher votre assistant vocal sur vos mails, vos fichiers ou vos paiements, et de regarder plus en détails ce qui se passe s’il refuse soudainement une tâche ou vous sort un lien après avoir écouté un audio douteux…
De leur côté, les modèles fermés d’OpenAI ou d’Anthropic sont plus durs à viser, faute d’accès à l’architecture mais comme ils s’appuient aussi sur des briques audio open source, l’équipe de Meng pense que l’attaque pourrait se faire aussi.
Méfiance donc…
Source : korben.info