Nvidia baru saja meluncurkan DGX GH200, yang mereka sebut sebagai “superkomputer AI”. Diumumkan di Computex, Taipei, inovasi terbaru dari Nvidia ini terdiri dari 256 Superchip Grace-Hopper yang dihubungkan dengan 36 NVLink Switches. Sistem ini mampu menghasilkan lebih dari 1 exaflops performa AI FP8 (atau mendekati 9 petaflops performa FP64). Fiturnya meliputi 144TB memori terintegrasi, kapasitas transfer data antar-GPU 900 GB/s, dan kapasitas transfer data total sekitar 128 TB/s. Nvidia berharap produk ini akan tersedia pada akhir tahun.
“Kami sedang dalam proses pembuatan,” kata CEO Nvidia, Jensen Huang, dalam acara Computex yang disiarkan secara langsung. “Semua komponen sedang diproduksi.”
Ian Buck, VP dan general manager untuk hyperscale dan HPC di Nvidia, mengatakan, “DGX GH200 dirancang sebagai instrumen canggih untuk pengembangan model AI generasi mendatang.”
Perusahaan teknologi besar seperti Google, Meta, dan Microsoft telah mengekspresikan ketertarikan untuk menguji sistem ini, tetapi AWS belum masuk dalam daftar akses awal.
Fitur utamanya adalah 144TB memori yang dapat diakses, kombinasi dari memori HBM dari GPU Hopper dan memori LPDDR5X dari CPU Grace.
DGX GH200 dilengkapi dengan memori dari CPU Arm “Neoverse V2” dengan kapasitas 480GB memori LPDDR5X, serta GPU H100 dengan 96GB memori HBM3.
Charlie Boyle, Presiden DGX, menekankan pentingnya peningkatan memori. Menurut Boyle, kelebihan utama dari DGX GH200 adalah kemampuannya untuk terkoneksi melalui sistem NVLink Switch dan software dengan toolkit CUDA, memungkinkan sistem berjalan dengan 256 unit komputasi independen dan 256 sistem operasi yang berfungsi di dalamnya.
Nvidia juga menampilkan data uji coba internal yang menunjukkan peningkatan kecepatan hingga 6.3 kali.
Meskipun DGX GH200 ditawarkan dengan 256 GPU, pelanggan bisa memilih versi dengan 32, 64, atau 128 node dan memiliki opsi untuk meningkatkan kapasitas di kemudian hari.
Nvidia tengah mengembangkan sistem besar bernama Helios berbasis DGX GH200 untuk mendukung penelitian dan pengembangan AI. Diharapkan sistem ini akan aktif di akhir tahun dengan kapabilitas AI sekitar 4 exaflops (FP8).
Versi HGX dari DGX yang baru belum diumumkan, namun tampaknya sedang dalam pengembangan. Nvidia juga memperkenalkan spesifikasi server modular MGX. MGX didesain untuk desain server standar yang dapat dilengkapi dengan GPU, CPU, dan DPU baik dari Nvidia maupun pihak lain.
Superchip GH200 Grace Hopper dari Nvidia telah masuk produksi masal. Nvidia menyatakan bahwa mereka kini memiliki lebih dari 400 konfigurasi sistem berdasarkan arsitektur CPU dan GPU terbaru mereka.
Saat ini, belum ada pengumuman kemitraan eksternal mengenai DGX GH200, namun beberapa sistem berbasis Superchip Grace Hopper sudah diperkenalkan. Ketiga superkomputer tersebut sedang dalam pembuatan oleh HPE dan diharapkan siap digunakan oleh peneliti pada tahun depan.
Nvidia belum merilis informasi mengenai konsumsi energi atau harga dari sistem DGX GH200.
FAQS
- Apa itu DGX GH200 yang diperkenalkan oleh Nvidia? DGX GH200 adalah “superkomputer AI” terbaru dari Nvidia yang dilengkapi dengan 256 Superchip Grace-Hopper dan 36 NVLink Switches, mampu menghasilkan lebih dari 1 exaflops performa AI FP8.
- Fitur-fitur apa saja yang dimiliki oleh DGX GH200? DGX GH200 memiliki fitur seperti 144TB memori terintegrasi, kapasitas transfer data antar-GPU 900 GB/s, kapasitas transfer data total 128 TB/s, dan dapat terkoneksi melalui sistem NVLink Switch dan software dengan toolkit CUDA.
- Apakah perusahaan teknologi besar lainnya tertarik dengan sistem ini? Ya, perusahaan teknologi besar seperti Google, Meta, dan Microsoft telah mengekspresikan ketertarikan untuk menguji sistem ini, tetapi AWS belum masuk dalam daftar akses awal.
- Apa yang sedang dikembangkan oleh Nvidia berdasarkan platform DGX GH200? Nvidia tengah mengembangkan sistem besar bernama Helios berbasis DGX GH200 untuk mendukung penelitian dan pengembangan AI, yang diharapkan akan aktif di akhir tahun dengan kapabilitas AI sekitar 4 exaflops (FP8).
Glosari
- AI (Kecerdasan Buatan): Sebuah cabang ilmu komputer yang berfokus pada penciptaan sistem yang dapat meniru atau melampaui kemampuan manusia dalam aspek tertentu, seperti pemahaman bahasa alami, pengenalan gambar, dan pembelajaran mesin.
- Computex: Salah satu pameran teknologi terbesar di dunia yang diadakan setiap tahun di Taipei, Taiwan, tempat perusahaan teknologi global memperkenalkan produk dan inovasi terbaru mereka.
- DGX GH200: Model terbaru dari lini produk superkomputer AI yang dikeluarkan oleh Nvidia.
- Exaflops: Satuan pengukuran kecepatan komputer yang setara dengan satu triliunan (10^18) operasi floating-point per detik. Menggambarkan kemampuan komputasi yang sangat tinggi.
- FP8 & FP64: Format representasi angka floating-point. FP8 mengacu pada presisi 8-bit, sedangkan FP64 mengacu pada presisi 64-bit. FP64 memiliki ketepatan yang jauh lebih tinggi dibandingkan FP8.
- GPU (Graphics Processing Unit): Sebuah chip komputer yang dirancang untuk memproses grafik. GPU sering digunakan dalam aplikasi AI dan pembelajaran mesin karena kemampuannya untuk memproses tugas paralel dengan cepat.
- HBM (High Bandwidth Memory): Jenis memori grafik berteknologi tinggi yang menawarkan bandwidth yang lebih besar dibandingkan dengan jenis memori tradisional, seperti GDDR.
- LPDDR5X: Versi terbaru dari memori RAM berteknologi rendah daya yang dirancang untuk perangkat seluler dan aplikasi lain yang memerlukan efisiensi energi.
- NVLink Switches: Teknologi koneksi antar GPU yang dikembangkan oleh Nvidia, memungkinkan komunikasi data berkecepatan tinggi antara GPU.
- Superchip Grace-Hopper: Chip terbaru dari Nvidia yang menggabungkan teknologi CPU dan GPU untuk meningkatkan performa dalam aplikasi AI.
- CUDA: Sebuah platform pengembangan dari Nvidia yang memungkinkan penggunaan GPU untuk pemrosesan komputasi umum.
- Node: Dalam konteks ini, node mengacu pada sejumlah GPU individual dalam sistem DGX GH200.
- HGX & MGX: Produk lain dari Nvidia. HGX mengacu pada versi lain dari DGX yang sedang dalam pengembangan, sedangkan MGX adalah spesifikasi server modular.
