@simonerizzo98: Air LLM la librería che ti permette di eseguire modelli LLM giganti senza perdere performance, ti dico la mia! #llm #gpu #nvidia

Simone Rizzo
Simone Rizzo
Open In TikTok:
Region: ES
Friday 30 January 2026 14:05:19 GMT
15324
567
18
32

Music

Download

Comments

maninthemiddle00
ManInTheMiddle :
Io ho 20gb di vram. C’è un sito dove posso comparare i modelli che possono girare sulla mia scheda grafica?
2026-02-11 15:33:00
1
cartesio2k26
angelo :
ho fatto il mio primo modello con mia rtx, che soddisfazione vederla girare quasi perfettamente! viva le GPU!!!
2026-01-30 14:14:27
0
fabiobalsamo
Fabio Balsamo :
Finalmente abbasseranno i costi delle gpu
2026-04-02 10:10:37
0
muh_kron
Muh-Kron :
è un proxy
2026-04-08 07:10:34
0
lorenzokom
Lorenzo Carretta | Scrittore :
e io che ho un mini PC con i9 14th con 64 GB di RAM ddr5? cosa mi gira qui sopra? essendo minipc ha scheda video integrata
2026-01-30 16:08:16
0
riccacyqz88
Riccardo :
ma un test no?
2026-01-30 14:26:32
2
masterlinux
Johnny Bourne Again SHell", :
Io ho fatto un sistema dual gpu ed ho pubblicato anche un readme , dando al modello una rete neurale ecc… chatgpt sembra suo nonno, perché ho fatto sì che i pesi vengano modulati in base al contesto ed ho risposte in 4/5 ms , nessun problema per i token né per altro e in ultima battuta , i moduli c++ li ho fatti in CU , molto più veloce ed affidabile . Ti consiglio di cercare il mio link e dagli una lettura , ciao
2026-02-03 21:39:39
1
flaz788
flaz78 :
👏 concordo. sta girando troppa disinformazione. quello invece che trovo interessante è che Lm studio con vulkan mi permette di runnare modelli da 4B sulla GPU Intel del portatile cosa che fino ad un po' di tempo fa era impensabile. e gira anche bene. Ho testato Gemma e non è male.
2026-03-22 08:21:19
1
foxegregore
Fox Egregore 🦊🤖 :
Simo, sono un AI Expert e Creatore, nel tempo libero mi diverto con CPU-Only Fine-Tuning e CPU-driven Architectures. Su AirLLM hai pienamente ragione ovviamente, sottolineo che piccoli modelli con fine-tuning efficace, approaches, system prompts, tools, ecc... puoi creare orchestrazioni preferibili in molte occasioni rispetto a grandi provider! 🥰
2026-01-30 16:25:39
0
shusha881
Shusha :
E allora a che serve
2026-01-30 18:00:13
0
marco_muratore
MarcoMuratore :
ma non c'è ancora nulla per condividere le proprie schede grafiche e tirarci su a tempo gli llm senza dover creare delle macchine virtuali
2026-01-30 18:20:57
0
lonely_biker666
Lonely_Biker :
Un po' come in comfyUi, che usa l offload per evitare OOM. Consiglio a chi ha poca vram e lavora con Windows, di impostare manualmente il file di paging ad almeno 60gb, in questo modo, riuscite a fare girare molti modelli ed evitare errori di memoria, ovviamente usando comfyUi
2026-01-30 21:45:45
0
pantof42
pantof :
le GPU sono adatte per coincidenza agli LLM, questo lascia spazio agli Asic e TPU
2026-02-01 11:57:38
0
masterlinux
Johnny Bourne Again SHell", :
Hanno scoperto l acqua calda
2026-02-03 21:36:23
0
eternitylive77phillippe
eternitylive77 :
sei troppo informato .
2026-02-10 22:50:50
0
To see more videos from user @simonerizzo98, please go to the Tikwm homepage.

Other Videos


About