@hanhtinker: Card 24GB VRAM chạy model 8B tưởng thừa mứa. Nạp tài liệu 32K token: tốc độ rơi từ 60 xuống 1.7 tokens/giây — chậm 30 lần, quạt hú mà GPU chỉ ăn 10%. Thủ phạm là KV Cache bùng nổ đẩy dữ liệu tràn qua PCIe. Fix bằng Flash Attention và nén KV Cache q8_0 — RTX 3060 12GB cũng đọc mượt file dài. #HanhTinker #KVCache #Ollama #AILocal #HomeLab

Hạnh Tinker

Open In TikTok:

Region: VN

Sunday 06 September 2026 10:52:18 GMT