Jika Anda belum beruntung mendapatkan GPU Nvidia H100 yang dicari banyak orang, AMD punya alternatif yang bisa Anda pertimbangkan.
AMD meluncurkan GPU baru, MI300X, yang ditujukan untuk AI dan komputasi ilmiah. GPU ini diperkenalkan sebagai alternatif untuk Nvidia H100 yang saat ini langka karena permintaan yang sangat tinggi dalam komputasi AI.
“Saya sangat suka chip ini,” kata Lisa Su, CEO AMD, dalam presentasi yang disiarkan langsung, memperkenalkan produk datacenter baru, termasuk CPU EPYC Generasi ke-4.
AMD berencana mulai mengujicoba MI300X pada kuartal berikutnya, dengan produksi yang akan ditingkatkan pada kuartal keempat.
MI300X adalah versi GPU-only dari chip superkomputer MI300A yang telah diumumkan sebelumnya, yang mencakup CPU dan GPU. MI300A akan digunakan di El Capitan, superkomputer yang dijadwalkan hadir tahun depan di Lawrence Livermore National Laboratory, dengan performa yang diperkirakan melebihi 2 exaflops.
Namun, Nvidia H100 telah memantapkan posisinya di datacenter, posisi yang mungkin sulit dihadapi AMD. Bulan lalu, Google Cloud mengumumkan superkomputer A3 dengan lebih dari 26.000 GPU Nvidia H100. Sementara itu, Microsoft menggunakan GPU Nvidia untuk BingGPT, layanan AI yang terintegrasi dalam mesin pencariannya. Oracle dan Amazon juga menawarkan GPU H100 melalui layanan cloud mereka.
MI300X memiliki 153 miliar transistor dan merupakan kombinasi dari 12 chiplets yang dibuat dengan proses 5-nanometer dan 6-nanometer. AMD menggantikan tiga chiplet CPU Zen4 di MI300A dengan dua chiplet GPU CDNA-3 tambahan untuk menciptakan MI300X.
Lisa Su menjelaskan, “Untuk memenuhi kebutuhan memori yang lebih besar dari model bahasa, kami menambahkan 64GB memori HBM3 ekstra pada MI300X.”
MI300X memiliki 192GB memori HBM3, yang menurut Su memiliki densitas memori 2,4 kali lebih besar dibanding Nvidia H100. Sementara versi SXM dan PCIe dari H100 memiliki 80GB memori HBM3.
Su menambahkan bahwa MI300X menawarkan bandwidth memori sebesar 5,2TBps, yang ia klaim 1,6 kali lebih baik dibanding GPU Nvidia H100. Perbandingan tersebut dibuat dengan versi SXM dari GPU H100 yang memiliki bandwidth memori 3,35TBps.
Namun, Nvidia memiliki versi NVL dari H100 – yang menghubungkan dua GPU melalui NVLink bridge – yang memiliki total 188GB memori HBM3, mendekati kapasitas memori MI300X, dengan bandwidth 7,8TBps.
Su menyoroti beberapa hasil performa, namun tidak membahas benchmark kunci – hasil performa titik mengambang atau bilangan bulat. AMD tidak memberikan benchmark performa.
Namun, Su menyatakan bahwa MI300A – yang memiliki CPU dan GPU – delapan kali lebih cepat dan lima kali lebih efisien dibanding dengan akselerator MI250X, chip GPU-only yang ada di superkomputer Frontier.
AMD meningkatkan kapasitas memori dan bandwidth untuk menjalankan model AI, yang meningkatkan performa dengan mengurangi beban pada I/O. Model AI biasanya mengalami penurunan performa saat memindahkan data bolak-balik antara penyimpanan dan memori.
“Kami memiliki keuntungan untuk model bahasa besar karena bisa menjalankan model besar langsung dalam memori. Hal ini mengurangi jumlah GPU yang dibutuhkan, meningkatkan kinerja, terutama untuk inferensi, serta mengurangi total biaya kepemilikan,” kata Su.
GPU dapat ditempatkan di rak standar dengan perangkat keras off-the-shelf dengan sedikit perubahan pada infrastruktur. Sementara GPU Nvidia H100 dapat ditempatkan di server standar, perusahaan tersebut mendorong penggunaan kotak AI khusus yang menggabungkan GPU AI dengan teknologi Nvidia lainnya.
AMD memperkenalkan server pelatihan dan inferensi AI yang disebut AMD Infinity Architecture Platform, yang menampung delapan akselerator MI300X dan 1,5TB memori HBM3. Server ini didasarkan pada spesifikasi Open Compute Project, yang berarti mudah diterapkan di infrastruktur server standar.
Pasar AI datacenter adalah peluang besar bagi AMD, kata Su. Peluang pasar diperkirakan sekitar $30 miliar tahun ini, dan akan meningkat menjadi $150 miliar pada 2027.
“Nvidia memiliki keunggulan besar atas AMD dalam perangkat lunak, dengan tumpukan pengembangan CUDA dan suite AI Enterprise mereka. Eksekutif AMD menghabiskan banyak waktu membahas alat pengembangan perangkat lunak, dan menyatakan fokus mereka pada pendekatan sumber terbuka, berbeda dengan model milik Nvidia dengan CUDA.
Sama seperti CUDA, kerangka kerja perangkat lunak AMD, ROCm, awalnya dirancang untuk komputasi berkinerja tinggi, tetapi sekarang disesuaikan untuk AI. ROCm mendukung kerangka kerja, model, dan alat AI terbuka.
CEO penyedia layanan AI HuggingFace, Clem Delangue, mengatakan bahwa mereka sedang mengoptimalkan model AI untuk dijalankan pada GPU Instinct. Sebanyak 5.000 model baru ditambahkan ke HuggingFace minggu lalu, dan semuanya dioptimalkan untuk GPU Instinct.
AMD juga memperkenalkan CPU baru, termasuk lini CPU Epyc 97X4 Generasi ke-4 dengan kode Bergamo, yang merupakan keluarga chip pertama yang ditujukan untuk komputasi cloud.
Chip Bergamo dapat diperbandingkan dengan chip berbasis Arm yang dikembangkan oleh Amazon dan Ampere. Chip ini menjalankan aplikasi sebagai microservices, dengan membagi kode dan mendistribusikannya ke sejumlah besar inti.
Chip Bergamo memiliki hingga 128 inti berdasarkan arsitektur Zen4c. Epyc 9754 top-line memiliki 128 inti, menjalankan 256 thread, dan memakai daya hingga 360W. Chip ini memiliki cache L3 sebesar 256MB dan beroperasi dengan frekuensi hingga 3,10GHz. Versi menengah 9754S memiliki spesifikasi serupa tetapi hanya menjalankan satu thread per kode. Versi terakhir, Epyc 9734, memiliki 112 inti, menjalankan dua thread per inti, dan memakai daya 320W.
Meta sedang mempersiapkan untuk menggunakan Bergamo di datacenter sebagai platform komputasi volume tinggi generasi berikutnya.
“Kami melihat peningkatan performa yang signifikan dengan Bergamo dibanding Milan sekitar dua setengah kali,” kata Alexis Black Bjorlin, wakil presiden infrastruktur di Meta, dalam presentasi di panggung.
AMD juga mengumumkan chip dengan kode 4th Gen Epyc chips Genoa-X dengan teknologi 3D V-Cache, yang memiliki hingga 96 inti CPU. Chip ini akan tersedia pada kuartal ketiga.
Chip tercepat di lini Genoa-X adalah 9684X, yang memiliki 96 inti, mendukung 192 thread, dan memakai daya 400W. Chip ini memiliki cache L3 sebesar 1,1GB dan beroperasi dengan frekuensi hingga 3,7GHz. Dua SKU lainnya, 9384X dan 9184X memiliki 32 dan 16 inti masing-masing, dengan cache L3 sebesar 768MB, frekuensi 3,9Ghz dan 4,2GHz. Kedua chip tersebut memakai daya sebesar 320W.
Kesimpulan
AMD telah meluncurkan MI300X, sebuah GPU baru yang ditargetkan untuk AI dan komputasi ilmiah sebagai alternatif untuk Nvidia H100 yang saat ini mendominasi pasar. CEO AMD, Lisa Su, menampilkan optimisme mengenai produk tersebut serta produk-produk datacenter lainnya seperti CPU EPYC Generasi ke-4. Namun, AMD menghadapi tantangan berat mengingat Nvidia H100 sudah mendapat posisi kuat di pasar, ditandai dengan adopsinya oleh raksasa teknologi seperti Google Cloud dan Microsoft.
FAQS
- Apa itu MI300X? MI300X adalah GPU baru dari AMD yang ditujukan untuk AI dan komputasi ilmiah, menjadi alternatif untuk Nvidia H100.
- Apa keunggulan MI300X dari segi memori dibandingkan dengan Nvidia H100? MI300X memiliki 192GB memori HBM3, yang menurut Lisa Su memiliki densitas memori 2,4 kali lebih besar dibanding Nvidia H100. Sementara versi SXM dan PCIe dari H100 hanya memiliki 80GB memori HBM3.
- Apa yang dikatakan Lisa Su tentang keuntungan MI300X untuk model bahasa? Su menekankan bahwa MI300X memiliki keunggulan dalam menjalankan model bahasa besar langsung di memori, yang mengurangi jumlah GPU yang diperlukan, meningkatkan kinerja, khususnya untuk inferensi, serta mengurangi total biaya kepemilikan.
- Bagaimana posisi Nvidia H100 di pasar datacenter? Nvidia H100 sudah memantapkan posisinya di datacenter dengan dukungan dari raksasa teknologi seperti Google Cloud yang mengumumkan superkomputer A3 dengan lebih dari 26.000 GPU Nvidia H100, serta Microsoft yang menggunakan GPU Nvidia untuk BingGPT.
Glosari
- 5-nanometer dan 6-nanometer: Ukuran proses pembuatan semikonduktor. Menyatakan jarak antara transistor di chip. Semakin kecil angka, semakin canggih dan efisien teknologinya, memungkinkan lebih banyak transistor ditempatkan di area yang sama.
- AI (Artificial Intelligence): Cabang ilmu komputer yang berfokus pada penciptaan mesin yang dapat mensimulasikan kecerdasan manusia, termasuk pembelajaran mesin, pengenalan pola, dan pemrosesan bahasa alami.
- Akselerator MI250X: Jenis GPU dari AMD yang dikembangkan khusus untuk keperluan komputasi berkinerja tinggi, khususnya pada superkomputer Frontier.
- AMD Infinity Architecture Platform: Inisiatif dari AMD yang menyediakan platform terpadu untuk komputasi berkinerja tinggi, mencakup elemen-elemen seperti CPU, GPU, dan memori dengan akses bandwidth tinggi.
- BingGPT: Layanan AI dari Microsoft yang terintegrasi dengan mesin pencari Bing, menggunakan model bahasa generatif untuk meningkatkan hasil pencarian.
- Bergamo: Nama kode untuk generasi CPU AMD Epyc yang dikembangkan khusus untuk menangani tugas-tugas komputasi cloud.
- Chip superkomputer MI300A: Chip kombinasi dari AMD yang mengintegrasikan baik CPU maupun GPU untuk menghadirkan performa tinggi, khususnya pada superkomputer El Capitan.
- CUDA: Teknologi dari Nvidia yang memungkinkan pengembang untuk menggunakan GPU untuk komputasi umum selain grafik, mendukung komputasi berkinerja tinggi.
- Datacenter: Fasilitas khusus yang berisi sejumlah besar server dan perangkat penyimpanan, dirancang untuk menyimpan, mengelola, dan mendistribusikan data dalam skala besar.
- Epyc 97X4 Generasi ke-4: Salah satu lini produk CPU server AMD yang menawarkan performa tinggi untuk komputasi cloud dan tugas-tugas lainnya.
- GPU (Graphics Processing Unit): Komponen komputer yang dirancang untuk mempercepat pembuatan gambar dalam frame buffer yang dimaksudkan untuk output ke perangkat tampilan.
- GPU Instinct: Lini GPU AMD yang dioptimalkan untuk komputasi berkinerja tinggi dan AI, mendapatkan dukungan dari pihak ketiga seperti HuggingFace untuk optimasi model AI.
- HBM3 (High-Bandwidth Memory): Generasi ketiga dari memori dengan bandwidth tinggi, menawarkan kecepatan transfer data yang jauh lebih cepat dibandingkan dengan jenis memori tradisional.
- MI300X: GPU terbaru dari AMD yang ditujukan untuk AI dan komputasi berkinerja tinggi, dihadirkan sebagai alternatif bagi Nvidia H100.
- NVL: Varian khusus dari GPU Nvidia H100 yang memiliki kemampuan untuk menghubungkan dua GPU dengan teknologi NVLink bridge.
- Nvidia H100: Salah satu GPU terkini dari Nvidia yang populer di kalangan industri AI karena performa dan fitur-fiturnya.
- Open Compute Project: Inisiatif kolaboratif yang bertujuan untuk meredefinisi perangkat keras teknologi informasi untuk mendukung pertumbuhan besar dalam komputasi data.
- Oracle: Salah satu perusahaan teknologi multinasional terkemuka yang menawarkan berbagai produk dan layanan software, cloud, dan hardware.
- ROCm: Platform komputasi terbuka dari AMD yang mendukung komputasi berkinerja tinggi dan AI, menyediakan alat dan pustaka untuk mengoptimalkan kerja pada hardware AMD.
- superkomputer: Sebuah komputer dengan performa komputasi tertinggi saat ini, digunakan untuk tugas-tugas yang memerlukan perhitungan besar dan cepat.
- Zen4: Generasi arsitektur mikroprosesor terbaru dari AMD yang digunakan dalam berbagai produk CPU mereka.
- 3D V-Cache: Inovasi dari AMD dimana cache tambahan ditempatkan di atas prosesor menggunakan teknologi perekatan 3D untuk meningkatkan performa dan efisiensi.
