Sortir les modèles 3D d'un jeu PS5 en passant par le mode Photo et un peu de photogrammétrie

Quand vous voulez récupérer un modèle 3D d’un jeu vidéo, en général il y a deux options. Soit vous fouillez les fichiers du jeu pour en extraire les assets, ce qui demande des outils spécialisés et qui ne marche pas simplement sur console.

Soit vous abandonnez. Un bidouilleur connu sous le pseudo Dung3onlord vient de proposer une troisième voie, beaucoup plus rigoloute et qui ne touche pas du tout au jeu lui-même.

[Embed: https://www.reddit.com/r/OculusQuest/comments/1srgzgz/capture_and_view_ps5_characters_on_a_quest_link/]

La technique repose sur deux trucs intégrés à la PS5. D’abord, le mode Photo, présent dans la plupart des gros titres modernes, qui permet de geler la scène et de la regarder sous n’importe quel angle.

Ensuite, la photogrammétrie, une vieille méthode qui consiste à reconstruire un objet 3D à partir de plein de photos prises sous différents angles. Mettez les deux ensemble et vous obtenez votre modèle, sans toucher au moteur du jeu.

Le mode opératoire de Dung3onlord est assez simple. Il filme une vidéo en orbite autour d’une scène figée en mode Photo, désactive toute interface visible, extrait les images de la vidéo, et passe le lot dans un logiciel de photogrammétrie classique.

Le résultat, c’est un nuage de points 3D, qu’il nettoie, dont il enlève le fond, puis qu’il transforme en gaussian splat. C’est une technique récente d’affichage 3D qui demande très peu de puissance de calcul pour le rendu. Il visualise ensuite le tout dans un casque VR Quest, ce qui donne une vraie sensation d’immersion dans la scène du jeu.

Il y a des limites évidemment. Plein d’effets graphiques modernes, comme les normal maps qui font croire à du relief sur des surfaces plates, ne donnent pas une vraie géométrie par exemple. Du coup la version 3D paraît parfois plus lisse que ce que vous voyiez dans le jeu. Et la technique ne marche que sur des scènes statiques, pas sur des animations.

Mais pour des paysages, des décors, ou des modèles fixes, c’est efficace. Surtout si l’objectif n’est pas d’avoir la précision absolue d’un fichier 3D natif, mais juste de revisiter une scène en immersion.

Et puis surtout, ça contourne tout le problème de l’extraction directe : le DRM, les formats propriétaires, les hooks dans la mémoire. Ici, on photographie l’écran. Le jeu n’a rien à dire. C’est une méthode bien élégante en tous cas.

Source :
Hackaday

Source : korben.info