@hanhtinker: Bỏ 40 triệu sắm máy chủ 2 CPU kèm 512GB RAM, nhưng hỏi bot AI một câu phải chờ tới 20 phút. Thủ phạm là kiến trúc NUMA và nút thắt bus UPI bóp băng thông xuống còn 70GB/s, khiến máy sinh từ chậm hơn 40 lần so với cụm card đồ họa đạt gần 1000GB/s. Dung lượng RAM chỉ quyết định có bật được mô hình hay không, còn băng thông bộ nhớ mới quyết định tốc độ nhanh hay rùa bò. #MemoryBandwidth #ServerAI #AILocal #HomeLab #CongNghe

Hạnh Tinker

Open In TikTok:

Region: VN

Thursday 03 September 2026 14:23:32 GMT