Fast SAM 3D Body – Quand l'IA scanne votre corps en 3D en 65ms
Vous prenez une photo de quelqu’un avec votre téléphone et magie magie, en une fraction de seconde, vous obtenez un modèle 3D complet de son corps. Ses bras, ses jambes, ses mains, ses pieds… tout y est, modélisé en 3D comme si vous aviez un vrai studio de motion capture à Hollywood.
Et ben c’est exactement ce que fait
SAM 3D Body
, un modèle d’IA développé par Meta.
En gros, vous lui filez une image de vous et l’IA reconstruit votre corps en volume, avec le squelette, les articulations et la surface de la peau. Jusqu’ici, ce genre de techno existait déjà mais c’était hyper lent, genre plusieurs secondes par image. Donc pas top si vous vouliez que ça suive, par exemple, vos mouvements en direct.
Et c’est là qu’une équipe de chercheurs incroyable (USC, NVIDIA et Meta Reality Labs) a eu la bonne idée d’optimiser tout ça. Leur version accélérée, baptisée
Fast SAM 3D Body
, fait exactement le même boulot mais quasiment 11 fois plus vite. Du coup, il ne faut plus que 65 millisecondes pour reconstruire un corps entier en 3D sur une RTX 5090. C’est à peu près le temps d’un clic de souris ! Autrement dit, on peut ENFIN faire du vrai temps réel !
Au lieu de faire tourner un algorithme qui optimise la pose du corps de manière itérative (ce qui prend du temps), ils ont tout simplement remplacé tout ça par un réseau de neurones qui donne directement le résultat en 1 passe. Et cette astuce seule rend la conversion entre formats de modèle 3D plus de 10 000 fois plus rapide ! C’est ouf !
Mais alors concrètement, à quoi ça sert tout ça ?
Hé bien d’abord à la robotique si chère à mon cœur car imaginez un
robot humanoïde comme le chinois Unitree G1
équipé d’une simple caméra. Vous faites un geste devant lui, et il le reproduit instantanément avec ses bras et ses jambes.
Robot chinois en dépression à cause d’un dropshipping mal exécuté
Dans la vidéo partagée par l’équipe, on voit que le robot manipule des objets et se déplace en copiant les mouvements d’un humain filmé par une caméra, sans aucun capteur sur le corps.
Mais au delà de la robotique, c’est aussi une petite révolution pour tous les créatifs et les bidouilleurs car aujourd’hui, faire de la motion capture, ça coûte une blinde en matériel (combinaison à marqueurs, caméras infrarouges, studio dédié…et j’en passe).
Alors que là, avec une webcam et un bon GPU, vous pouvoir facilement capter des mouvements 3D exploitables pour de l’animation, du jeu vidéo indie ou du prototypage. Par contre, attention, ça ne remplacera pas un vrai studio pro pour de la production ciné, faut pas trop rêver non plus. Enfin, pour le moment !
Le code est dispo sur
GitHub
, le paper sur
arXiv
, et les modèles pré-entraînés de SAM 3D Body sur
Hugging Face
. D’ailleurs, si vous voulez voir ce que donnent les
robots qui font la lessive
avec ce genre de techno, c’est par là.
Bref, y’a plus qu’à tester !
Source : korben.info