@lorenzosilvello_ai: Ho fatto addestrato un piccolo LLM da 0 fatto interamente da me in pytorch. Il modello batte GPT 2 small ne task di ARC easy AGI (46.4% vs 43.8%). Scaling law, Grouped Query Attention, RMSNorm e tante altre cose interessanti per chi appassionato. Se sei del settore e vuoi dargli un’occhiata passa per la mia repo: https://github.com/Silve2/LLM_from_scratch #llm #ai #ricerca #innovazione #universita