Kimi K3 : le modèle à 2 800 milliards de paramètres de Moonshot AI

Le 16 juillet 2026, Moonshot AI a présenté Kimi K3. C’est de très loin son plus gros modèle : 2,8 billions de paramètres, soit 2 800 milliards, une fenêtre de contexte d’un million de tokens, et du multimodal natif. L’objectif affiché est de jouer dans la même cour que les meilleurs modèles propriétaires.

Les premiers résultats sont solides, surtout sur le développement logiciel qui dure plusieurs heures, la recherche pilotée par des agents, l’automatisation et l’analyse de documents complexes. Au moment où nous écrivons ces lignes, K3 est premier du classement WebDev d’Arena.ai, devant plusieurs modèles propriétaires de premier plan.

Mais K3 n’est pas juste un K2 en plus gros. Moonshot a changé plusieurs choses dans l’architecture pour tenir les contextes longs, gagner en profondeur de raisonnement et éviter que le coût de calcul explose avec la taille.

Qui a créé Kimi K3 ?

Kimi K3 vient de Moonshot AI, une entreprise basée à Pékin, fondée en 2023 par le chercheur Yang Zhilin. Avant Moonshot, il est passé par Carnegie Mellon et a travaillé sur les modèles de langage et les architectures de fondation.

L’entreprise s’est fait connaître avec Kimi, un assistant qui savait déjà digérer de très longs documents dans ses premières versions. Ont suivi plusieurs modèles ouverts ou à poids ouverts : Kimi K2 en juillet 2025, puis les déclinaisons multimodales et spécialisées K2.5, K2.6 et K2.7 Code.

Avec K3, Moonshot change carrément d’échelle. Le modèle est présenté comme le premier système « ouvert » de la catégorie des trois billions de paramètres. Le timing n’a rien d’anodin : DeepSeek, Alibaba, Z.ai et Moonshot rattrapent vite les laboratoires américains, et le font souvent avec des modèles ouverts ou moins chers à utiliser.

Une précision s’impose quand même. Au 27 juillet 2026, les poids complets de K3 ne sont pas dans les dépôts publics officiels que nous avons pu vérifier. Moonshot avait annoncé la publication pour le 27 juillet, et Artificial Analysis classe encore K3 parmi les modèles propriétaires. Pour l’instant, il faut donc parler d’un modèle à poids ouverts annoncés, pas d’un modèle open source qu’on peut télécharger aujourd’hui.

Les caractéristiques principales de Kimi K3

Quatre chiffres résument le modèle.

2 800 milliards de paramètres. C’est la taille totale, pas ce qui tourne à chaque token. K3 repose sur une architecture sparse Mixture of Experts (MoE) qui n’active qu’une petite partie du réseau à chaque étape.

Un million de tokens de contexte. Sur le papier, le modèle peut avaler un très gros dépôt de code, plusieurs centaines de documents ou un historique de travail très long d’un seul coup. La cible est claire : les agents autonomes et les tâches qui s’étalent sur des heures.

Un multimodal natif. Texte et images passent par le même modèle. Moonshot met aussi en avant des workflows avec vidéos, captures d’écran, interfaces, animations et environnements 3D. L’API publique, elle, documente pour l’instant des entrées texte et image, avec une sortie texte.

Le raisonnement activé par défaut. K3 est pensé comme un modèle de raisonnement : il peut dépenser plus de calcul pour planifier et vérifier ses réponses. L’API propose trois niveaux d’effort : faible, élevé, maximal.

Une architecture Mixture of Experts très sparse

Le cœur de K3 s’appelle Stable LatentMoE. C’est une architecture Mixture of Experts avec 896 experts, dont seulement 16 sont sélectionnés pour chaque token. Environ 1,8 % du groupe d’experts routés.

Dans un MoE, chaque expert est un sous-réseau spécialisé. Un routeur regarde le token et choisit les experts les mieux placés pour le traiter. On peut ainsi gonfler le nombre total de paramètres sans faire exploser dans les mêmes proportions le calcul nécessaire à chaque inférence.

Attention à ne pas surinterpréter le chiffre : K3 n’utilise pas 1,8 % de ses paramètres. Certaines composantes du modèle sont partagées et toujours actives, et Moonshot n’a pas encore publié le nombre exact de paramètres réellement activés par token.

Router autant d’experts est un problème en soi. Moonshot utilise une technique appelée Quantile Balancing, qui répartit la charge à partir des quantiles des scores du routeur. Le but est d’éviter qu’une poignée d’experts récupère la majorité des tokens et crée des goulets d’étranglement sur les accélérateurs.

Kimi Delta Attention : faire baisser le coût des contextes longs

Un Transformer classique utilise une attention quadratique. Quand la longueur du contexte double, le calcul et la mémoire nécessaires à certaines opérations peuvent grimper très vite.

K3 introduit Kimi Delta Attention (KDA), une attention linéaire fondée sur des mises à jour d’état et une règle delta. Selon une préanalyse publiée sur Hugging Face, trois couches d’attention sur quatre utilisent KDA, la quatrième employant une variante de Multi-Head Latent Attention avec mécanisme de contrôle.

Le mécanisme n’apparaît pas de nulle part. Moonshot l’avait déjà décrit dans le papier Kimi Linear: An Expressive, Efficient Attention Architecture (arXiv, octobre 2025), sur un modèle beaucoup plus petit de 48 milliards de paramètres dont 3 activés. KDA y est présenté comme une extension de Gated DeltaNet avec un gating plus fin, et l’hybride KDA plus MLA y réduit le cache KV de 75 % par rapport à une attention complète, tout en faisant mieux qu’une MLA seule. C’est la lecture à faire si vous voulez comprendre le mécanisme dans le détail plutôt que de vous fier au communiqué.

L’idée de l’hybride est de cumuler deux avantages. Les couches KDA font le gros du travail à faible coût, les couches d’attention globale gardent la précision nécessaire pour retrouver une information loin dans le contexte.

Moonshot annonce que l’ensemble (architecture, nouveau routage MoE, recettes d’entraînement revues) donne une efficacité de mise à l’échelle environ 2,5 fois supérieure à celle de K2. Ce chiffre vient de l’entreprise et attend encore le rapport technique complet pour être détaillé.

Attention Residuals : de l’attention appliquée à la profondeur

L’autre nouveauté mise en avant s’appelle Attention Residuals, ou AttnRes.

Dans un Transformer classique, chaque bloc ajoute sa sortie à un flux résiduel commun, et l’information s’empile de couche en couche. AttnRes fait autre chose : les blocs peuvent aller chercher certaines représentations dans les couches antérieures.

Le modèle applique donc une forme d’attention non seulement sur les tokens d’une séquence, mais aussi sur les différents niveaux de profondeur du réseau. L’intérêt annoncé est de faire mieux circuler l’information dans un modèle qui compte énormément de couches, et d’éviter que certains signaux importants se diluent en route.

Un modèle entraîné pour tourner en basse précision

K3 utilise un entraînement conscient de la quantification dès la phase de fine-tuning supervisé. Les poids sont en MXFP4, les activations en MXFP8. Objectif : moins de mémoire et une meilleure compatibilité avec différentes familles d’accélérateurs.

Cela ne rend pas K3 utilisable sur une station de travail. Moonshot recommande des configurations de type supernode avec au moins 64 accélérateurs pour le déployer correctement. Même quantifié, un modèle de 2 800 milliards de paramètres reste une infrastructure de datacenter.

K3 est donc un modèle ouvert pensé d’abord pour les fournisseurs cloud, les grands laboratoires et les entreprises qui ont déjà une infrastructure distribuée. Pas pour tourner sur votre machine.

Les scores de Kimi K3 dans les benchmarks

Il faut séparer deux choses : les scores publiés par Moonshot, et les évaluations indépendantes.

Les résultats publiés par Moonshot AI

Le profil qui se dégage est net. K3 est fort quand la tâche mélange planification, outils, navigation, contexte long et livrable complet. Il domine beaucoup moins systématiquement sur les benchmarks de connaissances ou de raisonnement pur.

Des comparaisons qui ne sont pas toutes à armes égales

Moonshot le dit lui-même : les modèles n’ont pas tous été évalués dans le même environnement agentique. Selon les tests, K3 tourne sous Kimi Code ou Claude Code, les modèles d’OpenAI sous Codex, ceux d’Anthropic sous Claude Code, Terminus ou des mécanismes de fallback.

Ces scores ne comparent donc pas des modèles bruts. Ils comparent des ensembles : modèle, agent, outils et environnement d’exécution.

Autre point à garder en tête : tous les scores K3 publiés par Moonshot ont été obtenus avec l’effort de raisonnement sur « max », une température de 1 et un top-p de 1. Ces réglages tirent la qualité vers le haut, mais aussi la latence, le nombre de tokens produits et la facture.

Que disent les évaluations indépendantes ?

Artificial Analysis donne à K3 un score de 57 sur son Intelligence Index. Au 27 juillet 2026, cela le place 7e sur 190 modèles de sa catégorie, très au-dessus de la médiane à 32.

Sur les tâches agentiques, les résultats sont meilleurs encore. Lors de sa première évaluation, K3 a atteint un Elo de 1 668 sur GDPval-AA v2 et la première place sur AutomationBench-AA avec 53 %. Il fait aussi partie des meilleurs sur AA-Briefcase, un benchmark de travail intellectuel qui mêle présentations, tableurs et maquettes d’interfaces.

Sur AA-Briefcase justement, K3 obtient un Elo de 1 543, avec une qualité analytique comparable à Claude Fable 5, mais une qualité de présentation en dessous de GPT-5.6 Sol. L’évaluation relève aussi un coût moyen de 10,57 dollars et 56,4 minutes par tâche, à cause du nombre de tours et de tokens générés. Ce n’est pas anodin si vous industrialisez.

Les évaluations humaines d’Arena.ai confirment le niveau en frontend. K3 est premier du classement WebDev, avec un score préliminaire de 1 682 sur 3 776 votes, devant Claude Opus 5 High et Claude Fable 5.

En conversation généraliste, c’est une autre histoire. Dans le classement Text Arena, K3 est 11e avec un score préliminaire de 1 485. Compétitif, mais loin de la première place.

Où Kimi K3 est-il vraiment bon ?

Quatre domaines ressortent.

Le développement logiciel de longue durée d’abord. K3 semble à l’aise quand il faut explorer un gros dépôt, utiliser un terminal, modifier plusieurs fichiers, lancer des tests et tenir un objectif sur une longue série d’actions.

Le développement frontend et visuel ensuite. Sa première place sur WebDev Arena, combinée à la vision, lui permet d’alterner entre génération de code et lecture de captures d’écran. Il regarde le rendu d’une interface ou d’un jeu, puis corrige son propre code.

La recherche approfondie et la navigation agentique aussi. Les scores sur BrowseComp et DeepSearchQA montrent une vraie capacité à chercher, consulter beaucoup de sources et construire une réponse à partir d’un parcours de navigation compliqué.

Enfin le travail documentaire de bout en bout : lire des PDF, analyser des tableaux, monter une présentation, produire un rapport, manipuler des fichiers. Les résultats sur OmniDocBench, SpreadsheetBench 2 et AA-Briefcase vont tous dans ce sens.

Les limites de Kimi K3

L’infrastructure, d’abord. 2 800 milliards de paramètres, même très sparse et quantifiés, restent extrêmement difficiles à héberger. La recommandation de 64 accélérateurs minimum écarte l’immense majorité des déploiements locaux.

Les performances opérationnelles ensuite. Artificial Analysis mesure environ 32 tokens par seconde et un délai initial élevé une fois le temps de raisonnement compté. Le modèle est aussi plus verbeux que la moyenne.

Le comportement, ensuite. Moonshot reconnaît que K3 peut être trop proactif, prendre des décisions qu’on ne lui a pas demandées, ou devenir instable quand l’environnement agentique ne lui renvoie pas correctement tout l’historique de son raisonnement. D’où la recommandation d’utiliser un outil compatible et de cadrer précisément ce que le modèle a le droit de faire.

Moonshot admet enfin que l’expérience utilisateur reste en retrait par rapport aux meilleurs modèles propriétaires. K3 peut réussir une tâche longue et complexe tout en étant plus lent, moins prévisible et moins agréable sur une simple conversation.

Kimi K3 est-il au niveau des meilleurs modèles ?

Pas partout. Il reste derrière les leaders sur plusieurs évaluations de raisonnement général, de connaissances et d’expérience utilisateur.

Mais pour un modèle destiné à être ouvert, c’est une vraie marche franchie. K3 se bat à armes égales avec des systèmes propriétaires sur des tâches qui comptent en entreprise : développement logiciel, automatisation, recherche documentaire, interfaces, tableurs, production de livrables.

Pour une agence digitale comme Fenxi Technologies, l’intérêt n’est pas de construire un chatbot de plus. K3 devient pertinent quand il s’agit de bâtir des agents capables d’intervenir sur de gros projets techniques, d’analyser beaucoup de données et de produire des applications ou des documents complets avec peu de supervision humaine.

Ce qu’il faut retenir de K3, ce n’est pas son nombre de paramètres. C’est la direction. Les modèles ouverts ne cherchent plus seulement à répondre à des questions : ils apprennent à planifier, à se servir d’outils et à mener un projet complexe jusqu’au bout.