@student.gpt: Ejecuta grandes modelos de IA como LLAMA 3.37B sin superordenador usando la biblioteca LLM en Python, una solución en tendencia que optimiza memoria con flash attention. Ideal para estudiantes, investigadores y desarrolladores que buscan innovación en inteligencia artificial accesible. #llama3 #modelosia #inteligenciaartificial #pythonopensource #flashattention

YoNeurus :

Tarda días para una tarea que lleva minutos, ese es el problema que no se resuelve, y te acorta la vida de los discos de estado sólido

Tovar🚩 :

se te muere el disco

. :

si, pero una cosita. Tarda minutos y horas para una respuesta

nodejs :

Eso es demasiado lento, el tiempo vale oro, si solo lo ocupas para uso personal, te sale más barato pagar una suscripción.

Diario Libre 📰📚 :

aja, re lento y además imposible o muy difícil de implementar en PC de 8gb

JESUS :

que desinformación

SAMA :

Y cto espacio en el disco necesitamos? Supongo q reduce la vida útil del disco

horadenoticias.cl :

El.problema es que el modelo se vuelve dependiente del streaming desde RAM/disco. AirLLM muestra un ejemplo extremo con KIWI K3 donde el.consumonde VRAM es.bajísimo, pero la generación llega a 293 segundos por token, porque el cuello de botella pasa a ser el almacenamiento.

Rincon de letras....✍️ :