TRELLIS-Mac – L'image-to-3D de Microsoft passe sur Apple Silicon
TRELLIS est un modèle IA capable, à partir d’un texte ou d’une image tout ce qu’il y a de plus normal, de générer un modèle en 3D. C’est développé par Microsoft Research et c’est assez génial. D’ailleurs j’en avait parlé
en février dernier
quand la bête ne tournait encore que sur des cartes NVIDIA.
Sauf que voilà, ça ne fonctionnait pas sur Apple Silicon, mais uniquement sur les machines compatibles CUDA. Enfin, jusqu’à aujourd’hui, puisque grâce au développeur Shivam Kumar,
on dispose maintenant d’un portage
pour les architectures Apple via PyTorch MPS.
Pour que ça passe côté Metal, Shivam a dû identifier les opérations CUDA qui bloquaient, puis les remplacer une par une. Comptez environ 3 minutes et demie sur un M4 Pro pour générer un mesh depuis une image. Le temps d’aller se chercher un café et de revenir, quoi.
Il vous faudra un Mac Apple Silicon avec au moins 24 Go de mémoire unifiée, et 15 Go de stockage pour les poids du modèle (soit à peu près la taille d’un gros jeu AAA). L’installation passe par un setup.sh fourni dans le repo, mais il faut d’abord un compte HuggingFace validé pour accéder aux dépendances.
En sortie, vous obtenez alors un mesh de 400 000 vertex et plus, exportable en OBJ ou GLB, donc utilisable directement dans Blender, un moteur de jeu ou votre slicer d’impression 3D. Une subtilité à retenir quand même, la version Mac se limite pour l’instant à l’image-to-3D, le text-to-3D du modèle original n’est pas encore connecté. Et les couleurs arrivent sous forme de vertex colors, pas de texture maps à l’ancienne. Perso, j’aurais préféré avoir les textures, mais bon, c’est déjà énorme d’avoir le pipeline qui tourne sans GPU NVIDIA.
Côté usages concrets, ça dépanne bien pour mocker des assets en prototypage, générer un proxy 3D à partir d’une photo pour tester un éclairage, ou poser rapidement une base éditable dans Blender. Y’a aussi
Meshy 6
et
Hunyuan de Tencent
dans la catégorie image-to-3D si TRELLIS-Mac demande trop à votre machine.
Si ça vous intéresse, ce portage est sur GitHub en licence MIT. Si vous avez un Mac qui tient la charge, franchement ça vaut le coup de tester.
Source : korben.info