@federico_anastasi: Alcuni consigli pratici su come selezionare il modello AI da far girare in locale sul tuo hardware. Parte 2. #llm #localai #gpu #ai #qwen

Bin in tha prime :

la tua spiegazione è giusta. però parti con la scelta di un modello sbagliato, noi poveri mortali con 8GB di vram non possiamo permetterci un granché, Gemma 4 12B che hai preso come test tu non sarà mai utilizzabile per noi serve troppa più gpu rispetto a quella che noi abbiamo, e sai perfettamente che ~8000 token di contesto non sono minimamente sensati, 4 risposte in output e li esaurisci completamente🥲