7 min de lecture<\/p>\n
Le 16 mai 2026, la PR #22673 a \u00e9t\u00e9 merg\u00e9e dans llama.cpp. Le Multi-Token Prediction tourne depuis dans la mainline. Sur une RTX 3090, Qwen3.6 27B passe ainsi de 38 \u00e0 65 tokens par seconde, soit environ 1,7x plus rapide. Ce n’est pas une actualit\u00e9 d’hyperscaler, mais cela d\u00e9place un calcul que beaucoup d’\u00e9quipes DACH gardent en t\u00eate depuis un an et demi : \u00e0 partir de quand l’inf\u00e9rence locale vaut-elle la peine, et \u00e0 partir de quand pas.<\/strong><\/p>\n L’essentiel en bref<\/p>\n \u00c0 lire aussi :<\/span>EKS 1.36 devient cher sans FinOps<\/a> \/<\/span> Patcher le RCE de la Gemini CLI dans le CI\/CD<\/a><\/p>\n Le Multi-Token Prediction est, en substance, une forme de Speculative Decoding dans laquelle un second r\u00e9seau de pr\u00e9diction ne tourne pas \u00e0 c\u00f4t\u00e9 de mani\u00e8re externe, mais si\u00e8ge directement dans le mod\u00e8le principal comme t\u00eate de sortie suppl\u00e9mentaire. La t\u00eate MTP propose plusieurs tokens \u00e0 la fois, le mod\u00e8le principal les v\u00e9rifie lors du forward pass suivant et les accepte ou les rejette. Quand le taux de r\u00e9ussite est au rendez-vous, le nombre de forward passes co\u00fbteux par mot g\u00e9n\u00e9r\u00e9 baisse de mani\u00e8re mesurable.<\/p>\n La diff\u00e9rence d\u00e9cisive avec le speculative decoding classique \u00e0 base d’un mod\u00e8le draft s\u00e9par\u00e9 est de nature tr\u00e8s pratique. Pas besoin d’un second mod\u00e8le qu’il faut charger en parall\u00e8le et maintenir en VRAM. Sur des mod\u00e8les 27B sur une carte de 24 Go, cela lib\u00e8re pr\u00e9cis\u00e9ment la marge que le draft consommait auparavant. En pratique, cela signifie qu’une RTX 3090 ou 4090 obtient avec MTP un gain de vitesse qu’elle n’aurait jamais pu obtenir proprement avec un mod\u00e8le draft s\u00e9par\u00e9, ne serait-ce que pour des raisons de VRAM.<\/p>\n Le flag dans llama.cpp s’appelle depuis le merge –spec-type draft-mtp<\/em>. Le patch vient de am17an, et la conversation autour de la PR #22673 montre clairement que le code est bien fonctionnel, mais que la t\u00eate MTP doit \u00eatre pr\u00e9sente dans le checkpoint du mod\u00e8le. Sans t\u00eate MTP, le flag ne fait tout simplement rien.<\/p>\n La barre des 1,7x, souvent cit\u00e9e, provient d’un benchmark RunPod avec Qwen3.6 27B sur une RTX 3090. Sans MTP, le setup d\u00e9livre 38 tokens par seconde en single stream. Avec la t\u00eate MTP activ\u00e9e, on atteint 65. Cela fait une diff\u00e9rence de 27 tokens par seconde. C’est ce qui s\u00e9pare une interaction agr\u00e9able en local d’une interaction qui peine comme une vieille machine \u00e0 \u00e9crire.<\/p>\n Qui veut extrapoler ces chiffres vers d’autres mat\u00e9riels doit rester prudent. Sur une 4090, la courbe se d\u00e9place, car le forward pass y est de toute fa\u00e7on plus rapide et la part \u00e9conomis\u00e9e par MTP para\u00eet relativement plus faible. Les premiers retours de la communaut\u00e9 \u00e9voquent plut\u00f4t 1,4x \u00e0 1,6x. Pour Gemma 4 26B, les retours font \u00e9tat d’environ 40 pour cent de gain de vitesse. Une fourchette r\u00e9aliste pour les prochaines semaines : de 1,4x \u00e0 presque 2x, selon le mod\u00e8le, la carte et le niveau de quantification.<\/p>\n MTP n’est pas un interrupteur que l’on peut activer sur n’importe quel GGUF. La t\u00eate doit avoir \u00e9t\u00e9 cr\u00e9\u00e9e lors du pretraining ou du fine-tuning, sinon il n’existe tout simplement aucune pr\u00e9diction que le mod\u00e8le principal pourrait consommer. \u00c0 ce jour, cela se limite \u00e0 une liste de mod\u00e8les tr\u00e8s restreinte.<\/p>\n MTP disponible nativement<\/p>\n Sans t\u00eate MTP, aucun gain de vitesse<\/p>\n Qui a construit ces derniers mois sur un setup Llama 3 70B ne gagne pour l’instant rien au merge. La question n’est pas de savoir si l’on active MTP, mais si l’on est pr\u00eat \u00e0 changer de mod\u00e8le de base. Pour la g\u00e9n\u00e9ration de code et le tool calling, beaucoup plaident actuellement pour regarder de pr\u00e8s Qwen3.6. Pour les pipelines RAG classiques qui tournent de mani\u00e8re stable avec Llama 3 depuis un an, un changement serait une pure \u00e9conomie de principe, qui introduit d’autres risques, du comportement des prompts aux diff\u00e9rences de tokenizer.<\/p>\n La question passionnante n’est pas de savoir si MTP a encore un effet sur une H100. La r\u00e9ponse y est pr\u00e9visible et moins spectaculaire. La vraie question est de savoir o\u00f9 se situe le seuil \u00e0 partir duquel un GPU grand public plus MTP peut s\u00e9rieusement passer pour un substitut d’inf\u00e9rence \u00e0 une heure d’API.<\/p>\n Sur une RTX 3090 avec 24 Go de VRAM, Qwen3.6 27B en quantification Q4 avec MTP atteint environ 65 tokens par seconde, avec des longueurs de contexte stables jusqu’\u00e0 8k. Cela suffit pour une assistance au code au niveau de l’\u00e9quipe, pour des r\u00e9ponses RAG de longueur moyenne, pour l’extraction structur\u00e9e. L\u00e0 o\u00f9 cela ne suffit pas : un fonctionnement multi-utilisateurs simultan\u00e9 avec une forte concurrence. D\u00e8s que trois collaborateurs interrogent en parall\u00e8le, le gain per\u00e7u retombe.<\/p>\n La 4090 ne r\u00e9sout cela qu’en partie. Plus de bande passante, plus de puissance de calcul, mais toujours la classe 24 Go. Qui veut s\u00e9rieusement servir plusieurs flux en parall\u00e8le se retrouve sur la 5090 avec 32 Go ou directement sur H100\/H200. Et c’est exactement l\u00e0 que se trouve ce que beaucoup d’\u00e9quipes sous-estiment : MTP est une r\u00e9ponse pour le cas \u00e0 flux unique, pas pour un fonctionnement multi-clients \u00e0 forte charge. En datacenter, la H100 reste la solution plus honn\u00eate. Sur la workstation d’ing\u00e9nieur ou dans le petit cluster interne, la 4090 avec MTP devient soudainement plus int\u00e9ressante qu’elle ne l’\u00e9tait il y a trois semaines.<\/p>\n Le calcul \u00e9vident para\u00eet d’abord simple. Une 4090 co\u00fbte environ 1 700 euros en achat interne. Ajoutez l’\u00e9lectricit\u00e9, la maintenance et l’amortissement sur trois ans. Si le setup traite plusieurs millions de tokens par jour, c’est moins cher que chaque heure d’API chez OpenAI, Anthropic ou AWS Bedrock. C’est ce que dit la slide. Elle n’est pas si honn\u00eate que cela.<\/p>\n Ce que les slides montrent rarement, c’est la r\u00e9alit\u00e9 op\u00e9rationnelle. L’inf\u00e9rence locale, ce n’est jamais seulement la carte. C’est aussi l’\u00e9quipe qui met \u00e0 jour le mod\u00e8le. C’est la responsabilit\u00e9 des mises \u00e0 jour de quantification, la question de savoir si Q4_K_M ou Q8_0 est le bon niveau pour le besoin du prochain trimestre. C’est la pipeline de logs qui doit devenir exploitable pour le monitoring. C’est la disposition de quelqu’un \u00e0 maintenir le stack d’inf\u00e9rence au lieu de simplement l’utiliser.<\/p>\n J’ai d\u00e9j\u00e0 pris l’inf\u00e9rence locale au s\u00e9rieux une fois, trop t\u00f4t. C’\u00e9tait en 2024, avec un mod\u00e8le 13B sur une 3090. Le comparatif de co\u00fbts sur le papier avait l’air bon, en r\u00e9alit\u00e9 trois heures d’ing\u00e9nierie par semaine de maintenance ont englouti l’avantage de co\u00fbt. Aujourd’hui, avec MTP et avec des mod\u00e8les qui font leur travail de mani\u00e8re plus fiable en 27B, le calcul change. Mais il ne change pas tout seul.<\/p>\n La fourchette honn\u00eate est, \u00e0 mon sens, la suivante. L’inf\u00e9rence locale avec un mod\u00e8le 27B compatible MTP vaut la peine si l’\u00e9quipe peut investir au moins l’\u00e9quivalent d’une journ\u00e9e par mois en temps d’ing\u00e9nierie pour le stack, si les workloads se concentrent sur quelques flux par heure et si les r\u00e9ponses n’ont pas besoin de rivaliser \u00e0 chaque seconde avec l’absolu sommet. Elle ne vaut pas la peine si l’on attend la qualit\u00e9 de r\u00e9ponse de GPT-5 ou de Claude 4, si une concurrence multi-tenant est n\u00e9cessaire et si l’\u00e9quipe n’est pas pr\u00eate \u00e0 consid\u00e9rer les GGUF comme une t\u00e2che continue.<\/p>\n MTP est une forme de Speculative Decoding dans laquelle une t\u00eate de sortie suppl\u00e9mentaire int\u00e9gr\u00e9e directement dans le mod\u00e8le principal propose plusieurs tokens \u00e0 la fois. Le mod\u00e8le principal les v\u00e9rifie lors du forward pass suivant et les accepte ou les rejette. Contrairement au Speculative Decoding classique, aucun second mod\u00e8le draft n’est charg\u00e9 en parall\u00e8le.<\/p>\n<\/details>\n Les mod\u00e8les qui ont re\u00e7u une t\u00eate MTP lors du pretraining. Concr\u00e8tement, il s’agit actuellement de Qwen3.5 \u00e0 partir de 7B, de Qwen3.6 y compris 27B et A3B-MoE, de DeepSeek V3, de DeepSeek R1 et de Gemma 4 26B-A4B. Llama 3, Mistral et les versions de Gemma ant\u00e9rieures n’ont pas de t\u00eate MTP et n’en profitent pas.<\/p>\n<\/details>\n Le chiffre de 1,7x souvent cit\u00e9 provient d’un benchmark Qwen3.6 27B sur RTX 3090, avec 38 contre 65 tokens par seconde. Sur d’autres cartes et avec d’autres mod\u00e8les, la fourchette se situe selon les retours de la communaut\u00e9 entre 1,4x et 2x. Gemma 4 26B se situe plut\u00f4t \u00e0 1,4x.<\/p>\n<\/details>\n Depuis le merge de la PR #22673 le 16 mai 2026, le flag s’appelle –spec-type draft-mtp<\/em>. Condition pr\u00e9alable : le mod\u00e8le charg\u00e9 doit r\u00e9ellement poss\u00e9der une t\u00eate MTP dans son checkpoint. Sans t\u00eate, le flag ne fait rien.<\/p>\n<\/details>\n Pour des workloads \u00e0 flux unique sur une workstation d’ing\u00e9nieur ou un petit cluster interne, MTP d\u00e9place nettement le calcul des co\u00fbts. Pour la haute charge multi-tenant ou pour une qualit\u00e9 de sommet absolu, les mod\u00e8les d’API restent pour l’instant le choix le plus honn\u00eate. La r\u00e9alit\u00e9 op\u00e9rationnelle, c’est-\u00e0-dire la maintenance des GGUF, le tuning de la quantification et le monitoring, continue de co\u00fbter du temps d’ing\u00e9nierie.<\/p>\n<\/details>\n Les recommandations de la r\u00e9daction<\/p>\n Plus du r\u00e9seau MBF Media<\/p>\n\n
Ce que fait MTP techniquement et pourquoi il doit \u00eatre int\u00e9gr\u00e9 dans le mod\u00e8le<\/h2>\n
Ce que signifie concr\u00e8tement le chiffre de 1,7x<\/h2>\n
Quels mod\u00e8les embarquent MTP aujourd’hui et lesquels non<\/h2>\n
\n
\n
La r\u00e9alit\u00e9 du mat\u00e9riel entre 3090, 4090, 5090 et H100<\/h2>\n
Quand l’inf\u00e9rence locale devient r\u00e9ellement rentable face aux hyperscalers<\/h2>\n
Questions fr\u00e9quentes<\/h2>\n
Qu’est-ce que le Multi-Token Prediction dans llama.cpp, concr\u00e8tement ?<\/strong><\/summary>\n
Quels mod\u00e8les puis-je acc\u00e9l\u00e9rer aujourd’hui avec MTP ?<\/strong><\/summary>\n
Quel est r\u00e9ellement le gain de vitesse ?<\/strong><\/summary>\n
Quel flag dans llama.cpp active MTP ?<\/strong><\/summary>\n
MTP suffit-il pour remplacer les API des hyperscalers ?<\/strong><\/summary>\n
\n