Untuk mempercepat proyek Deep Learning, banyak yang memperbesar kluster GPU, namun biayanya mahal. Banyak perusahaan AI menghabiskan hingga 80% modal mereka untuk sumber daya komputasi. Meskipun GPU esensial untuk AI, ada cara lain untuk meningkatkan performa dengan biaya yang lebih terjangkau.
Menambah kluster GPU bukan hal mudah, apalagi dengan kelangkaan GPU saat ini. NVIDIA A100 menjadi salah satu yang paling terpengaruh. Sulitnya mendapatkan GPU ini membuat beberapa beralih ke tipe yang lebih tinggi, seperti H100, meski dengan harga lebih mahal.
Penyedia besar tentu saja mengambil sebanyak mungkin GPU yang tersedia karena biaya bukan masalah bagi mereka. Namun, bagi perusahaan yang ingin mengembangkan AI sendiri, penting untuk memaksimalkan efisiensi GPU yang sudah ada.
Masalahnya ada pada data. Banyak proyek yang tidak dapat menunggu kelangkaan GPU berakhir dan memiliki anggaran terbatas. Jadi, salah satu cara adalah dengan memaksimalkan utilitas GPU yang sudah ada. GPU bekerja optimal jika aliran data padanya lancar. Jika data terhambat, performa GPU juga terbatas.
Pentingnya penyimpanan data eksternal juga menjadi perhatian. Meskipun server DGX A100 & H100 memiliki kapasitas internal hingga 30 terabyte, namun ini belum cukup untuk model Deep Learning rata-rata yang berukuran sekitar 150 terabyte. Oleh karena itu, solusi penyimpanan eksternal yang efisien diperlukan.
Kinerja penyimpanan sangat penting. Penyimpanan AI memerlukan server, NVMe SSD, dan perangkat lunak penyimpanan yang dioptimalkan untuk AI. Penyimpanan ini harus mampu menyediakan data dengan kecepatan tinggi untuk GPU. Penyimpanan yang ideal adalah yang mampu menyediakan data dengan kinerja tinggi ke satu server GPU tanpa hambatan.
Hitachi Content Software for File (HCSF)
Ada pertanyaan rumit yang jawabannya terlihat sederhana, Bagaimana cara memenangkan persaingan artificial intelligence, machine learning, dan computing-based analytics berkinerja tinggi? Jawabannya Kecepatan. Kecepatan adalah kunci untuk tetap unggul, karena Anda harus menjalankan lebih banyak model dengan algoritma yang lebih kompleks, dan harus lebih cepat dari pesaing Anda. Ini berarti memerlukan akses data yang lebih cepat, lebih banyak, dan sebisa mungkin dengan biaya yang lebih rendah.
Sekarang, mari kita hadapi bagian yang paling menantang. Bagaimana cara mencapai tujuan tersebut. Aplikasi Anda memerlukan lebih banyak data, tetapi kinerja penyimpanan saat ini telah ketinggalan dari apa yang bisa dilakukan oleh CPU tradisional. Meski GPU telah memangkas infrastruktur komputasi hingga 40%, volume data yang diolah oleh GPU telah melonjak 50%. Namun, ini bukan tanpa biaya. Perusahaan harus berinvestasi besar untuk menyesuaikan GPU dan memperoleh platform berkapasitas tinggi yang mereka butuhkan. Untuk memaksimalkan pengembalian dari investasi tersebut, Anda perlu infrastruktur yang tepat, sebuah platform penyimpanan yang lebih efisien, lebih cepat, dan yang bisa menyatu dengan alur kerja Anda.
Salah satu solusi untuk menjawab tantangan penyimpanan besar yang cepat untuk kebutuhan artificial intelligence, machine learning, dan computing-based analytics, Hitachi memperkenalkan produk Hitachi Content Software for File (HCSF). Solusi penyimpanan berkinerja tinggi yang dirancang untuk menjaga Anda tetap dalam persaingan. Ini adalah peningkatan revolusioner dalam dunia penyimpanan untuk kebutuhan AI, machine learning, analytics, dan workload lainnya yang dipercepat oleh GPU.
- Kecepatan: 3x lebih cepat dari drive flash lokal, dan 10x lebih cepat dari array all-flash tradisional, memaksimalkan sumber daya komputasi dan mempercepat kinerja GPU dengan NVIDIA® GPUDirect® Storage.
- Kapasitas: Penyajian data set berukuran petabyte menjadi mudah, sebuah single data lake yang memungkinkan sampel data yang lebih besar dan pelatihan yang lebih efisien, menghemat biaya melalui manajemen terintegrasi, dan menghilangkan silo data, sehingga meminimalkan risiko kehilangan informasi penting.
- Efisiensi Biaya: Penyimpanan objek yang terintegrasi yang memungkinkan perpindahan data yang lancar dan efisien.
20X lebih cepat!
Hitachi Content Software for File mengintegrasikan teknologi NVIDIA® Magnum IO GPUDirect®. Dengan GPUDirect® Storage, software ini menyediakan throughput data hingga 20x lebih cepat dalam lingkungan komputasi multi-server dan multi-GPU. Ini menghilangkan peran CPU dalam loop komunikasi dan mengatasi hambatan yang memperlambat IO antara penyimpanan persisten dan prosesor GPU. Hanya Hitachi Vantara yang menawarkan solusi ini—plus penyimpanan cloud terintegrasi, pilihan infrastruktur yang luas, dan layanan digital canggih—semuanya dari satu vendor dengan satu titik kontak untuk dukungan.
HCSF Product Highlights:
- High-Performance Shared File System: Tervalidasi pada benchmark SPEC SFS 2014, IO-500, dan STAC M3
- Multi-Protocol: Akses penyimpanan aplikasi yang fleksibel: POSIX, NFS, SMB, S3, dan NVIDIA® GPUDirect® Storage
- Mixed Workloads: Support file kecil dan besar sekaligus, dengan pola mixed random dan sequential I/O dalam filesystem yang sama
- Linear Performance Scaling: Application-level 4K I/O, sub-250μ detik latency, unlimited random OPS
- Automated Tiering: Ekspansi namespace dari penyimpanan flash yang cepat ke hard disk melalui on-premises atau hybrid cloud object storage
- Distributed Storage: Fully distributed data dan metadata, menghindari hotspot dalam kluster penyimpanan
- Data Protection: Ketahanan data yang didistribusikan, menghilangkan bottleneck dari proteksi data tradisional
Kesimpulan
Untuk memenangkan persaingan dalam dunia AI, kecepatan menjadi faktor kunci. Dalam konteks ini, kecepatan merujuk pada akses data yang cepat dan efisien. GPU, sebagai komponen penting untuk memproses data pada proyek AI, memerlukan aliran data yang lancar untuk bekerja secara optimal. Namun, biaya untuk memperbesar kluster GPU bisa sangat tinggi, dan kelangkaan GPU saat ini menambah tantangan. Oleh karena itu, solusi alternatif yang efisien dan efektif diperlukan.
Hitachi Content Software for File (HCSF) diperkenalkan sebagai solusi yang dirancang untuk menjawab kebutuhan penyimpanan data berkinerja tinggi yang diperlukan oleh workload AI, machine learning, dan analytics. HCSF memiliki kemampuan untuk menyajikan data set berukuran petabyte dengan mudah, mengoptimalkan sumber daya komputasi, dan mempercepat kinerja GPU. Selain itu, solusi ini menawarkan efisiensi biaya yang signifikan dengan penyimpanan objek terintegrasi yang memungkinkan perpindahan data yang lancar dan efisien. Dengan teknologi NVIDIA Magnum IO GPUDirect, HCSF bisa menyediakan throughput data hingga 20x lebih cepat, menjadikannya solusi yang sangat berharga dalam ekosistem komputasi AI.
Glosari
- GPU (Graphics Processing Unit): Sebuah prosesor grafis yang dirancang untuk mempercepat pembuatan gambar dalam frame buffer yang ditujukan untuk output pada layar. GPU sangat efektif dalam pemrosesan paralel dan sangat digunakan dalam aplikasi yang memerlukan kinerja komputasi tinggi, seperti AI dan machine learning.
- NVIDIA A100 & H100: Kartu grafis dari NVIDIA bagian dari arsitektur NVIDIA Ampere, yang dirancang khusus untuk komputasi dan aplikasi AI.
- NVMe SSD (Non-Volatile Memory Express Solid State Drive): Jenis penyimpanan yang menggunakan protokol NVMe untuk memanfaatkan kecepatan tinggi dari konektor PCIe. Lebih cepat dibandingkan dengan SSD yang menggunakan antarmuka SATA.
- Hitachi Content Software for File (HCSF): Produk dari Hitachi yang dirancang untuk penyimpanan berkinerja tinggi yang dioptimalkan untuk kebutuhan AI, machine learning, analytics, dan workload lainnya yang dipercepat oleh GPU.
- NVIDIA Magnum IO GPUDirect: Teknologi dari NVIDIA yang memungkinkan perangkat keras lainnya, seperti penyimpanan, untuk berkomunikasi langsung dengan GPU NVIDIA, menghindari kebutuhan untuk melewati CPU, sehingga meningkatkan throughput dan mengurangi latensi.
- Throughput: Jumlah data yang bisa diproses oleh sistem atau komponen per unit waktu. Dalam konteks ini, throughput yang tinggi dari HCSF memungkinkan data disajikan ke GPU dengan sangat cepat.
- Latency: Waktu yang dibutuhkan untuk sebuah data packet untuk bergerak dari sumber ke tujuan. Dalam konteks komputasi, latensi yang rendah sangat penting untuk kinerja yang efisien.
- Data Lake: Sebuah penyimpanan data skala besar yang memungkinkan penyimpanan data terstruktur dan tidak terstruktur, dan data bisa diakses secara cepat saat dibutuhkan.
- POSIX, NFS, SMB, S3: Protokol dan antarmuka yang digunakan untuk mengakses dan berinteraksi dengan sistem file dan penyimpanan data. POSIX adalah standar untuk antarmuka sistem operasi, NFS adalah protokol jaringan untuk berbagi file, SMB adalah protokol jaringan yang digunakan oleh Windows, dan S3 adalah layanan penyimpanan objek yang disediakan oleh Amazon Web Services.
