Poison Fountain – La résistance s'organise pour empoisonner les IA
On croirait encore lire le scénario d’un nouveau Terminator, mais pour une fois, ce n’est pas de la science-fiction. Tenez vous bien, il y a actuellement ne résistance souterraine qui est réellement en train de s’organiser pour lutter contre les géants de l’IA.
Leur nom de code : "Poison Fountain".
Je suis tombé sur
cet article de Craig Smith chez Forbes
que je vous invite à lire et qui détaille ce mouvement d’un nouveau genre. Alors pour le moment, ça tient plus du manifeste un peu énervé que du logiciel de résistance clé en main, mais l’intention est claire. Ce que veut faire Poison Fountain c’est "miner" le web avec des données piégées pour que les prochaines générations d’IA s’intoxiquent en les ingérant.
Leur méthode repose sur des outils comme
Nightshade
, dont je vous ai déjà parlé, avec lequel vous prenez une image, disons une vache et l’outil modifie les pixels de façon invisible pour l’œil humain, de sorte que l’IA l’interprète ça comme… un camion. Alors que nous, avec nos petits yeux nous voyons toujours Marguerite.
Ainsi, si un modèle avale trop de ces données corrompues, il ne devient pas juste moins performant, mais commence également à faire des associations délirantes. C’est le principe du data poisoning et si Poison Fountain parvient à encourager massivement cette pratique, les crawlers d’OpenAI ou Google vont avoir des sueurs froides.
Bon, il ne faut pas s’emballer non plus car nettoyer un dataset contaminé est un enfer technique (il faut parfois tout réentraîner), mais les ingénieurs en face ont de la ressource. Ils finiront probablement par filtrer plus agressivement ou par se rabattre sur des données certifiées et sous licence. C’est plus cher, c’est moins frais, mais c’est la parade logique.
En tout cas, c’est le genre de dérive que craignait
Geoffrey Hinton
en quittant Google sauf que la perte de contrôle n’est pas accidentelle mais provoquée volontairement par des artistes et des activistes.
Alors est-ce du cyber-vandalisme comme l’a été le DDoS à une époque, ou est-ce de la légitime défense ?
Le débat est lancé, tout comme la guérilla de la data !
Source : korben.info