Votre cerveau compresse les images 40 fois mieux qu'un algo
Vous avez, j’imagine, probablement des dizaines de milliers de photos sur votre disque dur. Ça représente peut-être quelques centaines de Go, peut-être 1 To si vous êtes à l’aise en espace de stockage. C’est beaucoup ?
Pas tant que ça si on pense un peu à votre cerveau. Lui, il stocke depuis toujours des décennies de souvenirs dans environ 1,5 kg de matière organique qui consomme moins qu’une ampoule LED.
Comment est-ce qu’il fait ?
Hé bien, une équipe du Weizmann Institute of Science vient peut-être de le découvrir et au passage, changer la compression d’images telle qu’on la connaît.
Le projet s’appelle
Brain-IT
, et leur idée c’est de reconstruire des images à partir des signaux
fMRI
(imagerie par résonance magnétique fonctionnelle) de votre cerveau. En gros, ils scannent votre activité cérébrale pendant que vous regardez une image, et ils arrivent à reconstruire ce que vous avez vu. Le
papier scientifique est dispo sur arXiv
si vous parlez leur langue.
Évidemment, ce genre de recherche, c’est pas nouveau mais Brain-IT est plutôt un franc succès car le process permet d’obtenir les mêmes résultats que les méthodes précédentes avec seulement 1 heure de données fMRI, contre 40 heures pour les autres approches.
En gros, ça représente 97,5% de données en moins pour obtenir le même résultat. Trop fort non ?
En fait, si Brain-IT peut faire ça, c’est parce que les scientifiques ont découvert comment votre cerveau compresse les images de manière hyper efficace. Et d’ailleurs, ce truc pourrait bien inspirer de nouveaux algorithmes de compression pour nos ordis.
Brain-IT utilise en fait ce qu’ils appellent un “Brain Interaction Transformer” (BIT). C’est un système qui identifie des “clusters fonctionnels” de voxels cérébraux. Un voxel, c’est l’équivalent d’un pixel mais en 3D, et chaque voxel représente environ 1 million de cellules dans votre cerveau.
Le truc génial, c’est que ces clusters fonctionnels sont partagés entre différentes personnes, comme si nous avions tous la même bibliothèque de “primitives visuelles” câblée dans nos têtes. Ce sont des schémas de base que notre cerveau utilise pour reconstruire n’importe quelle image.
Brain-IT reconstruit donc les images en deux passes. D’abord les structures de bas niveau (les formes, les contours), puis les détails sémantiques de haut niveau (c’est un chat, c’est un arbre, c’est votre tante Huguette). C’est un peu comme le JPEG progressif que l’on voyait s’afficher lentement avec nos modem 56K, mais en infiniment plus smart.
Du coup, si on comprend comment le cerveau compresse les images, on pourrait créer de nouveaux formats vidéo ultra-légers. Imaginez un Netflix ou un Youtube qui streame en “brain-codec” à 1/40e de la bande passante actuelle. Ça changerait pas mal de choses… Et c’est pareil pour l’IA générative car actuellement, on entraîne des modèles avec des millions d’images durant des jours alors que notre cerveau, lui, apprend à reconnaître un visage en quelques expositions.
Et grâce à ses modèles de diffusion, Brain-IT est même capable de reconstruire visuellement ce que voit le cerveau ! Par contre, Brain-IT n’a pour le moment été testé que sur des images “vues” et pas des choses imaginées…
Mais les scientifiques n’écartent pas l’idée que ce soit possible donc ce n’est qu’une question de temps avant qu’on puisse capturer en image ses rêves par exemple.
Voilà, j’ai trouvé ça cool parce que ça montre que notre cerveau est probablement le meilleur système de compression d’images jamais créé et qu’on commence à peine à comprendre comment il fonctionne.
Merci Dame Nature !
Voilà, si vous voulez creuser, le code et les détails techniques sont sur
la page du projet Brain-IT
, et le paper complet est dispo sur
arXiv
.
Source : korben.info