@rickbjia: ¿27 mil millones de parámetros en poco más de 7 GB? 🤯 Esto es Ternary Bonsai 27B PQ2_0, funcionando completamente en local. En mi RTX 5070 ronda los 60 tokens por segundo: la prueba de razonamiento la clava, pero cuando le pedimos una web completa empiezan a salir las costuras. 🔧 Modelo, instalación y configuración: github.com/RicardoBertran/ternary-bonsai-27b-pq2 ¿2 bits son suficientes o estamos comprimiendo demasiado? #IA #IALocal #InteligenciaArtificial #TernaryBonsai #LocalAI #LlamaCPP #GGUF

EstebanDido007 :

tengo un portátil de 32 GB ram y una 4060 de 8vram y cuál ia local puedo correr?

Rodrigo Zamora :

2bits las alucinaciones de esa ia deben ser monumentales 😂

Kaïsam :

esa interfaz gráfica para hablar con el modelo cual es?

Toti's :

Ricardo...¿Que modelo tienes en github para la prueba?

Zumito de limón 🍋🍋🍋 :

llegará, igual dentro de los tres siguientes meses, pero llegará...

Neil McCauley995 :

no sirve, de 4 bits en adelante es ok

Gocho289 :

yo tengo un Ryzen 5 3600 con 32 GB de ram y 8GB en RX 6600.. quiero cambiar a una RX 9060 xt de 16GB Pero antes de hacer el salto quiero probar la de 8GB con una IA local que me recomiendas y gracias crack

zonextg :

ese modelo ya casi lo corre decente android 😅

Sebastian Ortiz :

que recomiendas para 3060 de 6GB de portatil

TioZes :

cómo haces para ver la velocidad de los token?

esteban :

para una 3070 de 8Gb y 24 de RAM que recomienda?

Jimy Tintaya :

Gracias por compartir tus pruebas!

Ghostccj :

pierde mucho rendimiento al estar en q2 (hay test de rendimiento con respecto a otro modelo?)creo que es más preferible usar un modelo con q4 a menos que se use para tareas sencillas entonces podría ser viable. es mi opinión no digo que sea la verdad absoluta porque hay tantos modelos para comparar que puede haber excepciones que no allá probado

danielcarrascom10 :

Interesante... tengo que probarlo con mi NAS a ver qué tal. Es a CPU pero para las tareas que hace no tengo prisa 😁.

Zentro Data Group :

Hola, q gran contenido, consulta Tengo una i5 Con 32gb de ram 1tb ssd y 1tb hdd 1 una rtx 3060 de 12gb (no es TI) q IA local podría tener si el uso normal que e doy es de un 30% de ram y entre 1 y 3% de gpu Y cuanto de almacenamiento requiere, la tendría en el ssd o hdd, el ssd por velocidad pero ahí tengo el SO.

Richard :

El problema es la cuantizacion Q2, para coding tiene problemas, lo pudistes comprobar y no es el modelo en si, es su quantizacion, lo mínimo sería Q4

Fénix :

cuál funciona mejor la que corre en disco o estás comprimidas ?

PatricioASC :

No Me Pisotees :

La quantización más agresiva que funciona decente es la gsq rco iq3 s

Ricardo Bertran :

27B en poco más de 7 GB y ~60 t/s 🤯Todo el setup, configuración y pruebas en la descripcion!

Andres Berger :

es que 2b ya estas mochando mucho y alucina