Hugging Face sait enfin vous dire si un modèle tourne sur votre machine
Vous avez une petite carte graphique, un vieux Mac ou juste un bon processeur, et vous cherchez LE modèle d’IA parfait qui pourra tourner en local sans que ça rame ?
Hugging Face
vient d’ajouter le filtre qui manquait à sa page Models : un sélecteur de matériel qui ne vous proposera que les modèles réellement compatibles avec votre machine.
Vous renseignez votre config (une RTX 3060, un processeur AMD, une puce Apple Silicon M2…) dans les réglages de votre compte, et le catalogue ne gardera plus que ce qui passe pour un GPU, un CPU ou une puce Apple précis.
Fini l’époque, donc, où il fallait ouvrir chaque fiche, chercher la VRAM requise, sortir la calculette et croiser les doigts au moment du lancement.
Ce filtre d’Hugging Face repose sur la taille des fichiers proposés, notamment les versions quantifiées au format GGUF, ces modèles compressés qui font tourner de grosses IA sur des machines modestes, et sur la RAM ou la VRAM de votre config déclarée. Cette base hardware est constituée de
ce que possède réellement la communauté
des 300 000 membres qui ont accepté de déclarer leur matériel.
Une fois le bon modèle repéré, vous récupérez les commandes via le bouton « Use this model » présent sur chaque fiche, puis vous lancez tout ça avec les outils habituels de l’IA locale, du genre llama.cpp, Ollama ou LM Studio. Et pour ceux qui veulent aller plus loin sur Apple Silicon, il existe également
des serveurs d’inférence maison pour remplacer l’API d’OpenAI par votre propre Mac
.
Maintenant, si vous avez un chip un peu exotique,
un accélérateur NPU
ou une carte à peine sortie, il faudra parfois patienter, voire passer par le forum pour réclamer son ajout dans la base, mais bon, je chipote !
Source : korben.info