7 Min. de lectura<\/p>\n
El 16 de mayo de 2026, el PR #22673 se fusion\u00f3 en llama.cpp. Desde entonces, la Predicci\u00f3n Multi-Token (MTP) se ejecuta en la rama principal. En una RTX 3090, Qwen3.6 27B aumenta as\u00ed de 38 a 65 tokens por segundo, es decir, 1,7 veces m\u00e1s r\u00e1pido. Esto no es una noticia<\/p>\n La cifra de 1,7x, tan citada, proviene de un benchmark de RunPod con Qwen3.6 27B en una RTX 3090. Sin MTP, la configuraci\u00f3n entrega 38 tokens por segundo en un solo flujo. Con el MTP-Head activado, son 65. Esto supone una diferencia de 27 tokens por segundo. Marca la diferencia entre una interacci\u00f3n que se siente agradable localmente y una que se arrastra como una m\u00e1quina de escribir.<\/p>\n Quien quiera extrapolar esto a otro hardware, debe ser cauteloso. En una 4090, la curva se desplaza porque el forward-pass es de por s\u00ed m\u00e1s r\u00e1pido y la proporci\u00f3n que MTP ahorra parece relativamente menor. Los primeros informes de la comunidad hablan de 1,4x a 1,6x. Para Gemma 4 26B, los informes sit\u00faan el speedup en torno al 40 por ciento. Un corredor realista para las pr\u00f3ximas semanas es de 1,4x a casi 2x, dependiendo del modelo, la tarjeta y el nivel de cuantificaci\u00f3n.<\/p>\n MTP no es un interruptor que se pueda aplicar a cualquier GGUF. El Head debe haber sido configurado en el preentrenamiento o fine-tuning, de lo contrario, simplemente no hay predicci\u00f3n que el modelo principal pueda consumir. A d\u00eda de hoy, esto cubre una lista de modelos muy limitada.<\/p>\n MTP disponible de forma nativa<\/p>\n Sin MTP-Head, sin aceleraci\u00f3n<\/p>\n Quien haya construido un setup con Llama-3-70B en los \u00faltimos meses, no ganar\u00e1 nada con la fusi\u00f3n por ahora. La cuesti\u00f3n no es si se activa MTP, sino si se est\u00e1 dispuesto a cambiar el modelo base. Para la generaci\u00f3n de c\u00f3digo y el tool-calling, actualmente hay muchas razones para considerar Qwen3.6. Para las pipelines RAG cl\u00e1sicas, que han funcionado de forma estable con Llama 3 durante un a\u00f1o, un cambio ser\u00eda un mero ejercicio de ahorro que introducir\u00eda otros riesgos, desde el comportamiento del prompt hasta las diferencias del tokenizer.<\/p>\n La pregunta interesante no es si MTP sigue teniendo efecto en una H100. La respuesta all\u00ed es previsiblemente menos espectacular. La pregunta interesante es d\u00f3nde se sit\u00faa el umbral a partir del cual una GPU de consumo m\u00e1s MTP puede considerarse seriamente como un sustituto de inferencia para una hora de API.<\/p>\n En una RTX 3090 con 24 GB de VRAM, Qwen3.6 27B en cuantificaci\u00f3n Q4 con MTP alcanza aproximadamente 65 tokens por segundo, con longitudes de contexto estables hasta 8k. Esto es suficiente para asistencia de c\u00f3digo a nivel de equipo, para respuestas RAG de longitud media, para extracci\u00f3n estructurada. Lo que no es suficiente es el funcionamiento multiusuario simult\u00e1neo con alta concurrencia. Tan pronto como tres empleados consultan en paralelo, la aceleraci\u00f3n experimentada disminuye de nuevo.<\/p>\n La 4090 solo lo resuelve parcialmente. M\u00e1s ancho de banda, m\u00e1s potencia de c\u00e1lculo, pero la misma clase de 24 GB. Quien quiera manejar seriamente varios streams en paralelo, acabar\u00e1 con la 5090 con 32 GB o directamente con H100\/H200. Y aqu\u00ed es exactamente donde reside lo que muchos equipos subestiman: MTP es una soluci\u00f3n para el caso de un solo stream, no para el funcionamiento de alta carga con m\u00faltiples clientes. En el centro de datos, la H100 sigue siendo la soluci\u00f3n m\u00e1s honesta. En la estaci\u00f3n de trabajo del ingeniero o en un peque\u00f1o cl\u00faster interno, la 4090 con MTP se vuelve de repente m\u00e1s interesante de lo que era hace solo tres semanas.<\/p>\n El c\u00e1lculo obvio parece sencillo al principio. Una 4090 cuesta alrededor de 1.700 Euro en compra interna. Electricidad, mantenimiento, amortizaci\u00f3n a tres a\u00f1os. Si la configuraci\u00f3n procesa varios millones de tokens al d\u00eda, es m\u00e1s barato que cualquier hora de API de OpenAI, Anthropic o AWS Bedrock. As\u00ed lo dice la diapositiva. Pero no es tan honesta.<\/p>\n Lo que las diapositivas rara vez muestran es la realidad operativa. La inferencia local nunca es solo la tarjeta. Tambi\u00e9n es el equipo que actualiza el modelo. Es la responsabilidad de las actualizaciones de cuantificaci\u00f3n, de la pregunta de si Q4_K_M o Q8_0 es el nivel correcto para la necesidad del pr\u00f3ximo trimestre. Es la pipeline de logging que debe ser apta para monitorizaci\u00f3n. Es la disposici\u00f3n de alguien que mantiene el stack de inferencia, en lugar de solo usarlo.<\/p>\n Ya he operado inferencia local seriamente demasiado pronto. Eso fue en 2024, con un modelo 13B en una 3090. La comparaci\u00f3n de costes sobre el papel parec\u00eda buena, en la realidad, tres horas de ingenier\u00eda por semana en mantenimiento se comieron la ventaja de costes. Hoy, con MTP y con modelos que hacen su trabajo de forma m\u00e1s fiable en 27B, la cuenta cambia. Pero no cambia por s\u00ed sola.<\/p>\n Desde mi punto de vista, el corredor honesto es el siguiente. La inferencia local con un modelo 27B compatible con MTP vale la pena si el equipo puede invertir al menos un d\u00eda trimestral al mes de tiempo de ingenier\u00eda para el stack, si las cargas de trabajo se concentran en pocos streams por hora y si las respuestas no tienen que competir en cada segundo del pico absoluto. No vale la pena si se espera la calidad de respuesta de GPT-5 o Claude 4, si se requiere concurrencia multi-tenant y si el equipo no est\u00e1 dispuesto a ver los GGUF como una tarea continua.<\/p>\n MTP es una forma de Decodificaci\u00f3n Especulativa, en la que un cabezal de salida adicional directamente en el modelo principal sugiere varios tokens simult\u00e1neamente. El modelo principal los verifica en el siguiente paso de forward-pass y los acepta o los descarta. A diferencia de la Decodificaci\u00f3n Especulativa cl\u00e1sica, no se carga un segundo modelo de<\/p>\n","protected":false},"excerpt":{"rendered":"El PR #22673 introduce la predicci\u00f3n de m\u00faltiples tokens en la l\u00ednea principal de llama.cpp.","protected":false},"author":31,"featured_media":43297,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"_yoast_wpseo_meta-robots-noindex":"","_yoast_wpseo_meta-robots-nofollow":"","_yoast_wpseo_meta-robots-adv":"","_yoast_wpseo_canonical":"","_yoast_wpseo_opengraph-title":"","_yoast_wpseo_opengraph-description":"","_yoast_wpseo_opengraph-image":"","_yoast_wpseo_opengraph-image-id":0,"_yoast_wpseo_twitter-title":"","_yoast_wpseo_twitter-description":"","_yoast_wpseo_twitter-image":"","_yoast_wpseo_twitter-image-id":0,"pre_headline":"","bildquelle":"","teasertext":"","language":"de","_evm_translation_lang":"","featured_post":0,"featured_post_sortierung":0,"_wp_old_slug":[],"footnotes":""},"categories":[950],"tags":[],"industry":[],"class_list":["post-42565","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-inteligencia-artificial"],"evm_reading_time_minutes":7,"wpml_language":"es","wpml_translation_of":42460,"acf":[],"yoast_head":"\nQu\u00e9 significa la cifra de 1,7x en la pr\u00e1ctica<\/h2>\n
Qu\u00e9 modelos incorporan MTP hoy y cu\u00e1les no<\/h2>\n
\n
\n
Realidad del hardware entre 3090, 4090, 5090 y H100<\/h2>\n
Cu\u00e1ndo la inferencia local realmente compensa frente a los hiperescaladores<\/h2>\n
Preguntas frecuentes<\/h2>\n
\u00bfQu\u00e9 es concretamente la Predicci\u00f3n Multi-Token en llama.cpp?<\/strong><\/summary>\n