Moonshot met en ligne Kimi K3, le plus gros modèle d'IA jamais proposé en téléchargement libre
La startup chinoise Moonshot AI, que vous connaissez peut-être pour son assistant Kimi et qui compte Alibaba parmi ses soutiens, a publié hier sur Hugging Face les poids complets de Kimi K3, un modèle de 2 800 milliards de paramètres qui devient du même coup le plus gros jamais mis en libre téléchargement. Personne n’était jamais allé aussi loin.
Ces fameux poids, ce sont les milliards de réglages internes que le modèle a accumulés pendant son entraînement, et c’est précisément ce qu’il faut posséder pour faire tourner l’IA sur ses propres machines plutôt que de passer par les serveurs de l’éditeur.
Le fonctionnement est d’ailleurs intéressant. Le modèle est découpé en 896 blocs spécialisés dont seuls 16 s’activent à chaque requête, ce qui ramène le calcul réel autour de 50 milliards de paramètres et rend l’engin à peu près exploitable.
La fenêtre de contexte grimpe en plus à un million de tokens, ces fragments de texte qui servent d’unité de mesure aux IA, de quoi envoyer une dizaine de romans dans une seule et même conversation.
Sur les classements du moment, K3 vient se glisser juste derrière les meilleurs modèles fermés d’OpenAI et d’Anthropic, quand il ne passe pas carrément devant sur les tests de programmation, ce qui est quand même un drôle de résultat pour un modèle que n’importe qui peut récupérer gratuitement.
Sauf que voilà, récupérer est un grand mot : le téléchargement pèse 1,4 To, et il faut ensuite une machine capable de charger tout ça en mémoire, ce qui suppose environ huit serveurs remplis de cartes graphiques professionnelles et une facture à plusieurs millions de dollars. Personne ne fera donc tourner K3 dans son salon.
Et puis il y a la licence, un texte maison que Moonshot se garde bien d’appeler open source, et qui vise directement les gros hébergeurs : toute société qui revend l’accès au modèle et encaisse plus de 20 millions de dollars sur douze mois devra signer un accord commercial séparé avant de continuer.
Les très gros services, au-delà de 100 millions d’utilisateurs mensuels, doivent en plus afficher "Kimi K3" bien en vue dans leur interface. Du coup, les Amazon et autres Microsoft qui voudraient proposer le modèle à leurs clients passeront eux par la case négociation.
Pour tous les autres, l’API officielle est ouverte depuis mi-juillet, à 3 dollars le million de tokens en entrée.
Moonshot qui offre gratuitement son meilleur modèle au monde entier tout en gardant la main sur ceux qui pourraient en vivre, c’est de la générosité très bien calculée.
Source :
Source : korben.info