Frore mengklaim LiquidJet buatannya dapat menurunkan suhu GPU Nvidia Rubin hingga 10°C
Bukan rahasia lagi bahwa pendinginan yang tepat memastikan umur pakai yang panjang dan memungkinkan perangkat keras untuk menunjukkan potensi penuhnya. Tetapi dalam hal perangkat keras AI pusat data, pendinginan yang tepat juga berarti kinerja berkelanjutan yang lebih tinggi, yang secara langsung berarti penghematan biaya bagi pemiliknya. Frore Systems, pembuat solusi pendinginan yang dibuat menggunakan peralatan kelas semikonduktor, tampaknya memiliki ide yang sempurna tentang cara mengurangi suhu akselerator AI generasi berikutnya dan meningkatkan kinerjanya hingga 15%.
Frore Systems pekan lalu menerbitkan sebuah white paper yang menunjukkan bahwa peningkatan pada seluruh tumpukan pendinginan — mulai dari kemasan GPU dan material antarmuka termal (TIM) hingga pelat pendingin dan suhu cairan pendingin — dapat meningkatkan produksi token per watt lebih dari 30%. Sementara itu, salah satu proyeksi paling berani perusahaan berdasarkan model termal analitis* adalah bahwa teknologi pelat pendingin LiquidJet saja dapat menurunkan suhu sambungan GPU Nvidia Rubin hingga 12°C, yang berarti peningkatan 10% hingga 25% dalam token/Watt, sedangkan pengurangan 10°C dapat meningkatkan produksi token sekitar 15%.
Memang, akselerator AI modern, seperti Nvidia Rubin yang akan datang, dapat menghilangkan panas hingga 2.400 W, dan suhu die-nya dapat dengan mudah mencapai 95°C atau lebih. Tetapi meskipun 95°C belum tentu menjadi masalah bagi umur pakai silikon, arus bocor tentu saja menjadi masalah. Arus bocor meningkat secara eksponensial dengan suhu, kira-kira berlipat ganda untuk setiap peningkatan 10°C pada suhu sambungan maksimum, yang merupakan saat peralihan transistor itu sendiri juga menjadi kurang efisien. Akibatnya, GPU yang lebih panas membutuhkan tegangan yang lebih tinggi untuk mempertahankan kecepatan clock, yang pada akhirnya memaksa Dynamic Voltage and Frequency Scaling (DVFS) untuk mengurangi kecepatan clock agar tetap berada dalam batas termal, yang pada gilirannya akan mengurangi kinerja dan generasi token.
Semua ini mengarah pada kesimpulan sederhana: semakin baik pendinginan, semakin tinggi kinerja dan output token. Yang secara umum benar. Namun, pendinginan tidak sesederhana itu, karena bergantung pada banyak faktor yang dapat dioptimalkan. Lebih jauh lagi, untuk pusat data AI, pendinginan itu sendiri bukan lagi cara untuk melindungi CPU dan akselerator dari panas berlebih, tetapi sebenarnya merupakan cara untuk memaksimalkan kinerja dan penghasilan token.
Nvidia mendesain platformnya berdasarkan suhu Tj(max); ini adalah salah satu batasan desain mendasar untuk GPU, paket, dan solusi pendinginan. Cara kerjanya seperti ini:
- Nvidia menetapkan suhu sambungan maksimum yang diizinkan (Tj,max limit). Ini adalah suhu yang tidak boleh dilampaui oleh silikon selama operasi normal. Nilai pastinya tidak selalu dipublikasikan, tetapi Frore menggunakan 95°C untuk Rubin dalam analisisnya.
- GPU terus memantau suhu sambungannya menggunakan puluhan atau ratusan sensor termal pada chip, namun manajemen daya memantau wilayah terpanas.
- DVFS berupaya memaksimalkan kinerja sambil tetap berada di bawah batas termal dan daya, jadi jika GPU memiliki ruang termal yang cukup, ia dapat mempertahankan kecepatan clock yang lebih tinggi atau tegangan yang lebih rendah. Jika suhu junction meningkat, firmware secara bertahap menyesuaikan tegangan dan frekuensi. Jika perlu, ia akan menurunkan kecepatan untuk mencegah melebihi Tj(max).
Masalahnya adalah GPU beroperasi di bawah beberapa batasan simultan, seperti batasan termal (Tj,max), batasan daya paket, batasan arus, dan batasan tegangan. Biasanya, daya tercapai sebelum termal. Sementara itu, sistem pendingin modern dirancang untuk mencegah silikon mencapai Tj(max). Jadi, meskipun GPU Nvidia tidak pernah mencapai Tj(max), menurunkan suhu sambungan operasi tetap meningkatkan efisiensi karena kebocoran transistor berkurang seiring penurunan suhu. Di sinilah Frore dan sistem pendinginnya berperan.
Menurut Frore, daya kebocoran meningkat hampir dua kali lipat untuk setiap kenaikan suhu sambungan sebesar 10°C, sementara daya switching transistor meningkat sekitar 2% pada rentang suhu yang sama, sehingga menurunkan suhu operasi bermanfaat bahkan ketika prosesor tidak mengalami pelambatan termal.
Hambatan termal
Menurut Frore, suhu persimpangan GPU maksimum yang digunakan oleh produsen perangkat keras ditentukan oleh persamaan yang tampaknya sederhana:
Tj(maks) = Tinlet + Q × Rtotal
Di mana suhu masuk cairan pendingin, daya GPU, dan total resistansi termal menentukan seberapa panas silikon dapat menjadi. Sementara itu, total resistansi termal bergantung pada tiga elemen utama: paket GPU itu sendiri, material antarmuka termal antara paket, dan desain pelat pendingin. Karena setiap lapisan menambah resistansi termal, itu meningkatkan suhu die dan mengurangi keseluruhan pendapatan token. Dengan demikian, resistansi termal menjadi masalah utama, menurut makalah tersebut.
Frore mengklaim bahwa pelepasan penutup (delidding) pada paket Rubin secara dramatis menurunkan resistansi termal (meskipun ini sudah jelas, saya harus menambahkan lagi bahwa makalah ini didasarkan pada model termal analitis*). Menurut makalah tersebut, paket Rubin tanpa penutup dapat mengurangi suhu sambungan hingga 20°C dibandingkan dengan yang memiliki penyebar panas terintegrasi (IHS), yang berpotensi meningkatkan token/Watt hingga 35%. Tentu saja, ada kerugiannya, karena GPU tanpa penutup memiliki keandalan mekanis yang lebih rendah. Kita akan membahasnya nanti. Bagaimanapun, ada penyedia sistem cloud yang menjajaki penggunaan GPU Rubin tanpa penutup untuk meningkatkan penghasilan token mereka terlepas dari semua risikonya, menurut Frore.
Kontribusi Frore sendiri tentu saja adalah pelat pendinginnya. Pelat pendingin konvensional biasanya diproduksi menggunakan teknik skiving, sebuah proses pemesinan yang menciptakan saluran mikro panjang dan lurus di dalam blok tembaga. Frore, sebaliknya, meminjam teknik manufaktur dari fabrikasi semikonduktor — etsa dan pengikatan — untuk membangun struktur mikro tembaga tiga dimensi yang rumit yang mengatasi titik panas pada silikon akselerator. Struktur mikro unik ini tidak dapat diproduksi menggunakan pemesinan tradisional, setidaknya tidak secara efisien dari segi biaya, menurut Frore.
Meningkatkan efisiensi
Desain LiquidJet memiliki fitur saluran mikro pendek yang diukir di sekitar titik panas, beberapa tahap pendinginan, dan pengaturan aliran yang dioptimalkan untuk peta kepadatan daya GPU. Menurut analisis perusahaan, ini memungkinkan pengurangan suhu sambungan sebesar 6°C hingga 12°C dan meningkatkan token/Watt sebesar 10% hingga 25% dalam kasus GPU Nvidia Rubin*. Pengurangan suhu sekitar 10°C akan menghasilkan peningkatan efisiensi pembangkitan token sekitar 15%, demikian klaim makalah tersebut.
