Loading...

MSI PRO MAX EDGE AI+ Menjalankan Model AI Berskala Besar Secara Lokal

MSI telah meluncurkan PRO MAX EDGE AI+, sebuah sistem desktop ringkas yang dirancang untuk inferensi kecerdasan buatan lokal. Mesin ini menggabungkan prosesor AMD Ryzen AI Max dengan kumpulan memori terpadu yang besar, memungkinkannya untuk mengakomodasi model bahasa yang akan melebihi memori grafis khusus yang tersedia pada sebagian besar GPU konsumen. Konfigurasi diperluas hingga AMD Ryzen AI Max+ 395, yang menggabungkan inti CPU, grafis terintegrasi RDNA 3.5, dan unit pemrosesan neural XDNA 2. Bagian grafis menyediakan hingga 40 unit komputasi, sementara NPU dinilai hingga 50 TOPS. MSI mencantumkan hingga 126 TOPS kinerja AI gabungan untuk platform lengkap. Angka gabungan tersebut mewakili output teoretis dari beberapa mesin pemrosesan, bukan kinerja satu komponen. Hasil yang diperoleh dalam aplikasi nyata akan bergantung pada apakah perangkat lunak dapat menggunakan CPU, GPU Radeon, dan NPU secara efektif. Format model, mesin inferensi, presisi numerik, dan bandwidth memori juga akan memiliki pengaruh substansial pada kinerja. PRO MAX EDGE AI+ dapat dikonfigurasi dengan memori terpadu LPDDR5X-8000 hingga 128 GB. Sebanyak 96 GB dapat dialokasikan sebagai memori grafis variabel, memberikan GPU terintegrasi akses ke alokasi memori yang jauh lebih besar daripada kartu grafis konsumen biasa. Karena CPU dan GPU berbagi kumpulan fisik yang sama, data tidak selalu perlu diduplikasi antara memori sistem dan grafis yang terpisah.

46874678jh



MSI menyatakan bahwa konfigurasi 128 GB dapat menjalankan model bahasa besar dengan hingga 120 miliar parameter. Maksimum ini umumnya memerlukan beberapa bentuk kuantisasi karena sistem operasi, perangkat lunak inferensi, dan cache konteks juga mengkonsumsi memori. Arsitektur model dengan jumlah parameter yang identik juga dapat memiliki persyaratan praktis yang berbeda. Sistem ini ditempatkan dalam wadah berukuran empat liter dan menggunakan MSI Frozr AI Pro Cooling bersama dengan desain termal Glacier Armor milik perusahaan. Pengaturan pendinginan dimaksudkan untuk mengontrol suhu selama sesi inferensi yang berkelanjutan. Pengujian independen akan diperlukan untuk menentukan kinerja jangka panjangnya, suhu operasi, dan keluaran akustik. Beberapa desktop PRO MAX EDGE AI+ juga dapat dihubungkan dalam klaster terdistribusi. MSI mengklaim bahwa konfigurasi klaster dapat menjalankan model yang berisi hingga 670 miliar parameter dengan menggabungkan memori dan sumber daya pemrosesan dari beberapa sistem. Kinerja yang dapat dicapai akan bergantung pada jumlah node yang terhubung, perangkat keras jaringan, dan dukungan dalam kerangka kerja inferensi yang dipilih. Menjalankan model secara lokal dapat menjaga agar prompt, dokumen, dan informasi sensitif lainnya tidak berada di layanan cloud eksternal. Hal ini membuat sistem ini berpotensi berguna untuk analisis dokumen pribadi, asisten lokal, pengembangan perangkat lunak, dan pembuatan dokumen yang diperkaya dengan pencarian. Namun, pemrosesan lokal tidak secara otomatis memberikan keamanan yang lengkap; organisasi tetap harus menerapkan enkripsi penyimpanan, kontrol akses, dan kebijakan jaringan yang sesuai. MSI belum mengungkapkan harga atau jadwal ketersediaan regional yang terperinci. Detail tersebut akan penting ketika membandingkan sistem ini dengan workstation GPU konvensional, server multi-GPU, dan layanan komputasi awan sewaan.

7464678ytu

Spesifikasi MSI PRO MAX EDGE AI+
Platform prosesor AMD Ryzen AI Max Seri 300
Prosesor maksimum AMD Ryzen AI Max+ 395
Grafis terintegrasi AMD RDNA 3.5, hingga 40 unit komputasi
Prosesor saraf NPU AMD XDNA 2
Kinerja NPU Hingga 50 TOPS
Performa AI gabungan Hingga 126 TOPS
Memori sistem Memori terpadu LPDDR5X-8000 hingga 128 GB
Memori grafis variabel Hingga 96 GB
Dukungan model sistem tunggal Hingga 120 miliar parameter, tergantung pada format model dan kuantisasi.
Dukungan model terklaster Hingga 670 miliar parameter di berbagai sistem
Volume sasis Kurang lebih 4 liter
Pendinginan MSI Frozr AI Pro Cooling dan Glacier Armor
Harga Belum diumumkan

Get 50% Discount.

Lorem, ipsum dolor sit amet consectetur adipisicing elit. Exercitationem, facere nesciunt doloremque nobis debitis sint?