Quand les chercheurs en IA dissèquent les LLM comme des aliens
J’sais pas si vous avez vu ça, mais des chercheurs d’OpenAI, d’Anthropic et de Google DeepMind ont décidé de traiter les grands modèles de langage comme des organismes extraterrestres qu’il faut disséquer pour comprendre leur fonctionnement.
Et pour cela, ils utilisent des techniques empruntées à la biologie pour analyser ces réseaux de neurones qu’on a pourtant créés nous-mêmes !
Cette approche originale s’appelle "interprétabilité mécanistique" (mechanistic interpretability en anglais, mais bon, ça sonne mieux que "on va ouvrir la bestiole pour voir ce qu’il y a dedans") et en gros, au lieu de se contenter de tester les modèles sur des tâches précises, ces équipes les étudient comme des biologistes examineraient un spécimen inconnu. Ils cartographient les "circuits neuronaux", identifient des "organes" fonctionnels, cherchent à comprendre quelles parties du modèle s’activent pour telle ou telle tâche.
Ce qui est bizarre c’est que ces systèmes, nous les avons nous-mêmes construits… On les a entraînés, on a choisi l’architecture, on a fourni les données… et pourtant on se retrouve à les étudier comme si c’était des aliens bourrés qui se seraient crashés dans le désert du Nevada.
Du coup, plusieurs équipes ont publié des résultats sur cette approche. Chez Anthropic, par exemple, ils ont cartographié des millions de "features" dans Claude, identifiant des groupes de neurones qui s’activent pour différents concepts abstraits, avec des recherches en cours pour détecter des comportements comme la tromperie. OpenAI a de son côté développé des outils pour visualiser comment l’information circule dans ses modèles, révélant l’existence de circuits neuronaux spécialisés dans différentes tâches.
Et ce qui ressort de ces recherches, c’est surtout qu’on commence à peine à grattouiller la surface. En effet, les
modèles de langage
présentent des comportements émergents qu’on ne peut pas prédire juste en regardant le code ou l’architecture. Du coup, une des façons majeures de comprendre ce qui se passe vraiment là-dedans, c’est de les observer en action et de déduire leur fonctionnement interne comme on le ferait avec n’importe quel système biologique.
Et l’enjeu va bien au-delà de la simple curiosité scientifique car comprendre le fonctionnement interne de ces modèles permettrait de les rendre plus sûrs, de détecter quand ils sont sur le point de générer des
réponses problématiques
, ou de mieux cibler leur entraînement. C’est aussi crucial pour la recherche sur l’alignement car si on veut s’assurer que les IA futures font vraiment ce qu’on veut qu’elles fassent, il faut d’abord comprendre comment elles prennent leurs décisions.
Mais bon, vous me connaissez, je suis toujours très optimiste sur toutes ces recherches scientifiques… Cependant, il faut quand même se méfier car les modèles actuels contiennent des dizaines voire des centaines de milliards de paramètres qui interagissent de façons complexes et cartographier tout ça, c’est un peu comme essayer de comprendre le cerveau humain neurone par neurone.
Donc oui on avance, mais on est encore très looooin d’une compréhension complète… Faudra être patient.
Source : korben.info