@kadathverse.id: DeepSeek, startup AI asal China, meluncurkan model bahasa DeepSeek V3 dengan 671 miliar parameter, yang diklaim lebih efisien daripada model dari Meta dan OpenAI. Model ini dilatih dalam dua bulan dengan biaya USD 5,58 juta menggunakan 2.048 GPU Nvidia H800, dengan total 2,8 juta jam GPU. Keberhasilan DeepSeek didorong oleh optimasi canggih seperti algoritma DualPipe yang menggabungkan komputasi dan komunikasi, serta penggunaan teknologi presisi rendah FP8 untuk mengurangi beban komputasi. Hasilnya, mereka mengurangi kebutuhan komputasi hingga 11 kali lipat dibandingkan model serupa dari Meta, yang memerlukan 16.384 GPU H100 untuk pelatihan LLaMA 3 dengan 405 miliar parameter dalam 54 hari. Model ini menjadi bukti bahwa meskipun China terhambat oleh sanksi AS, inovasi dalam AI tetap berkembang dengan efisiensi yang luar biasa. DeepSeek juga merilis model ini sebagai open-source, membuka peluang untuk penelitian lebih lanjut. Source: Tom's Hardware, SCMP #ai #nvidia #h800 #kluster #deepseek #china #openai #meta #usa #fyp #tech

Kadath

Open In TikTok:

Region: ID

Saturday 28 December 2024 00:32:54 GMT