Le piratage par IA n'a plus besoin de malware : une simple doc suffit

Une nouvelle méthode d’attaque cible les IA de développement comme Copilot. En publiant de la documentation empoisonnée, des hackers trompent les modèles pour qu’ils recommandent des bibliothèques malveillantes. Cette menace invisible pour la sécurité est indétectable par les outils classiques.

Le concept est d’une simplicité désarmante. Plus besoin d’injecter du code malicieux dans un dépôt GitHub ou de trouver une faille zero-day complexe. Il suffit désormais de publier de la documentation technique faussée sur des forums, des wikis ou des fichiers README publics. Ces textes, une fois ingérés par les grands modèles de langage (LLM), deviennent une source de vérité pour l’IA qui assiste les développeurs au quotidien.

Le mécanisme de l’injection indirecte

Le problème est en fait dans la confiance aveugle que les modèles accordent aux données d’entraînement. En décrivant une solution technique qui utilise un paquet spécifique — mais malveillant — l’attaquant s’assure que l’IA proposera ce nom lors d’une requête de génération de code. C’est ce qu’on appelle l’injection de prompt indirecte. Le développeur, pensant gagner du temps, valide la suggestion et installe un composant compromis sans vérification préalable.

Le typosquatting passe au niveau supérieur

Cette technique facilite grandement le typosquatting. Auparavant, un attaquant devait espérer qu’un humain fasse une faute de frappe en saisissant une commande. Aujourd’hui, c’est l’IA qui commet l’erreur pour lui, influencée par des références empoisonnées trouvées sur le web. Comme l’IA présente la solution avec une assurance pédagogique, le sens critique de l’utilisateur baisse d’un cran. Le malware n’est plus dans la documentation, il arrive dans la machine au moment où le développeur exécute la suggestion générée.

Un défi pour la cybersécurité logicielle

La difficulté majeure est que cette attaque est purement textuelle. Les outils de scan de vulnérabilités cherchent du code dangereux, pas des explications trompeuses en langage naturel. Tant que les modèles d’IA ne sauront pas distinguer une documentation légitime d’une tentative de manipulation sémantique, la chaîne d’approvisionnement logicielle restera vulnérable à cette forme de gaslighting numérique. La sécurité repose désormais sur la véracité de l’information ingérée par les machines.

On atteint ici les limites de l’automatisation du développement. Faire confiance à un LLM pour choisir ses dépendances est devenu un risque de sécurité majeur. Cette faille montre que le maillon faible n’est plus seulement l’humain qui tape du code, mais l’outil qui lui souffle les réponses. On risque de voir apparaître des systèmes de vérification de réputation de documentation.

Source :
The Register

Source : korben.info