Il glisse un GPU de datacenter dans son PC gaming pour faire tourner une IA en local

Oscar Molnar voulait une intelligence artificielle qui tourne entièrement chez lui, sans envoyer la moindre donnée vers le cloud, et il y est arrivé pour environ 200 euros en greffant dans son PC une carte graphique qui n’avait normalement rien à faire dans une machine de salon.

L’objectif, c’est de faire tourner en local ce qu’on appelle un grand modèle de langage, le fameux LLM qui se cache derrière les ChatGPT et compagnie, directement sur son propre ordinateur plutôt que sur les serveurs distants d’une entreprise.

L’intérêt est double, puisque aucune donnée personnelle ne quitte la machine et qu’une fois le matériel payé, chaque requête ne coûte ensuite quasiment plus rien du tout.

Côté configuration, il a gardé sa RTX 4080 et ses 16 Go de mémoire vidéo, avant d’y greffer une Tesla V100, une carte pensée à l’origine pour les serveurs de datacenter, qu’il a quand même dénichée pour pas chère (170 euros sur eBay), avec un adaptateur à une cinquantaine de livres histoire de la brancher sur un port d’ordinateur tout ce qu’il y a de classique.

L’ensemble lui offre du coup 32 Go de VRAM, autrement dit la mémoire embarquée sur la carte graphique, celle qui décide concrètement de la taille du modèle d’IA qu’on est capable de charger.

Avec une telle réserve, il fait tourner Qwen3.6, un modèle ouvert d’environ 27 milliards de paramètres, compressé pour tenir dans 19 Go et capable, au passage, d’analyser aussi des images.

Les performances ont quand même de quoi surprendre pour du matériel de récupération assemblé à la maison, avec environ 32 tokens par seconde en génération, un token étant grossièrement un morceau de mot, et près de 150 lorsque le modèle avale d’un coup la question qu’on lui pose, le tout grâce à llama.cpp, le logiciel libre devenu la référence pour faire tourner ces IA en local.

Il a même branché par-dessus un assistant de programmation maison, et il juge franchement le rendu compétitif face aux modèles cloud les plus récents.

Un détail vient quand même gâcher un peu la fête, parce que la Tesla V100 disparaît parfois des radars après un simple redémarrage à chaud, un caprice de détection matérielle qui l’oblige à éteindre complètement la machine pour la voir réapparaître.

Bref, 200 euros de récup pour une IA perso qui ne fuite rien à personne. Pour les bidouilleurs jaloux de leurs données, ça donne sérieusement envie d’essayer.

Source :
Tymscar

Source : korben.info