@rickbjia: Qwen 3.8 un 73% MÁS RÁPIDO con solo 2 líneas 🤯 He conseguido acelerar Qwen 3.8 27B un 73% en local, pasando de 40,94 a 70,84 tokens por segundo en una RTX 5070 de 12 GB. Primero probé DFlash 2, una de las nuevas técnicas de speculative decoding que está dando mucho que hablar. Después activé MTP, que ya viene integrado en Qwen 3.8, y la diferencia fue enorme en mi configuración. ⚡ DFlash 2: 41,05 tok/s 🚀 MTP: 70,84 tok/s He dejado en GitHub todos los comandos, configuraciones y pasos para replicar la prueba. Los resultados pueden cambiar según GPU, quantización, contexto y versión de llama.cpp. Menos humo. Más IA real.

usern8akmngm5k :

Pues poner las características del PC, sistema operativo, etc…?

ROOT :

Gracias capo e aprendido mucho contigo

Ricardo Bertran :

🚀 Todos los comandos y configuraciones de MTP + DFlash 2 están en el repo de GitHub: github.com/RicardoBertran/qwen38-mtp-dflash-benchmark

Monkixl.Leo :

Gracias 🫡😎

Chusseur :

Que cuantizacion usas? Para que quepa en 12gb de VRAM

Xarly CR :

pero he visto tu repo y la ventana de contexto de 4k, eso es xq es una prueba o no te cabe un contexto razonable en la VRAM de no se 128k para programar por ej. Alucina mucho con esta config?

Jim :

yo buscando una 3060 de 12gb 😢 aver que tal jala.

KilzaNiko :

Esta ia es uncensored?

nelsoncorrea-52 :

que tan seguro es tener la IA en local no fuga información al tener el internet conectado

KilzaNiko :

Pero cuanto contexto? por que si es de poco no es que sirva mucho la verdad 😔

Ozzy🧬 :

betobr77 :

👍👍👍