NVIDIA A100 Tensor Core GPU menyediakan akselerasi yang belum pernah ada sebelumnya di setiap tingkat skala—untuk menggerakkan data center elastis berkinerja tinggi untuk aplikasi AI, analitik data, dan high-performance computing (HPC). Sebagai inti dari platform data center NVIDIA, A100 menawarkan kenaikan performa hingga 20X lebih tinggi dibandingkan dengan generasi NVIDIA Volta™ sebelumnya. A100 dapat dengan efisien diskalakan atau dipartisi menjadi tujuh instance GPU terisolasi dengan Multi-Instance GPU (MIG), memberikan platform unifikasi yang memungkinkan data center elastis untuk menyesuaikan secara dinamis terhadap permintaan beban kerja yang berubah-ubah.
Teknologi NVIDIA A100 Tensor Core mendukung berbagai rentang presisi matematika, memberikan akselerator tunggal untuk setiap jenis beban kerja. Generasi terbaru A100 80GB menggandakan kapasitas memori GPU dan memperkenalkan bandwidth memori tercepat di dunia dengan 2 terabyte per detik (TB/s), mempercepat waktu penyelesaian untuk model-model terbesar dan dataset yang sangat besar.
A100 merupakan bagian integral dari solusi data center lengkap NVIDIA yang mencakup komponen-komponen dasar mulai dari hardware, networking, software, libraries, dan model-model AI yang dioptimalkan serta aplikasi dari katalog NVIDIA NGC™. Sebagai representasi dari platform AI dan HPC yang paling kuat untuk data center, platform ini memungkinkan para peneliti untuk menghasilkan solusi dunia nyata dan menerapkannya pada produksi skala besar.
Spesifikasi NVIDIA A100 80GB PCIe
Spesifikasi | A100 PCIe |
---|---|
FP64 | 9.7 TFLOPS |
FP64 Tensor Core | 19.5 TFLOPS |
FP32 | 19.5 TFLOPS |
Tensor Float 32 (TF32) | 156 TFLOPS | 312 TFLOPS1 |
BFLOAT16 Tensor Core | 312 TFLOPS | 624 TFLOPS1 |
FP16 Tensor Core | 312 TFLOPS | 1248 TOPS1 |
INT8 Tensor Core | 624 TOPS | 1248 TOPS1 |
GPU Memory | 80GB HBM2e |
GPU Memory Bandwidth | 1,935GB/s |
Max Thermal Design Power | 300W |
Multi-Instance GPU | Up to 7 MIGs @ 10GB |
Form Factor | PCIe dual-slot air cooled or single-slot liquid cooled |
Interconnect | NVIDIA® NVLink® Bridge for 2 GPUs: 600GB/s; PCIe Gen4: 64GB/s2 |
Server Options | Partner and NVIDIA-Certified Systems™ with 1-8 GPUs |
Spesifikasi NVIDIA A100 80GB SXM
Spesifikasi | A100 SXM |
---|---|
FP64 | 9.7 TFLOPS |
FP64 Tensor Core | 19.5 TFLOPS |
FP32 | 19.5 TFLOPS |
Tensor Float 32 (TF32) | 156 TFLOPS | 312 TFLOPS1 |
BFLOAT16 Tensor Core | 312 TFLOPS | 624 TFLOPS1 |
FP16 Tensor Core | 312 TFLOPS | 1248 TOPS1 |
INT8 Tensor Core | 624 TOPS | 1248 TOPS1 |
GPU Memory | 80GB HBM2e |
GPU Memory Bandwidth | 2,039GB/s |
Max Thermal Design Power | 400W3 |
Multi-Instance GPU | Up to 7 MIGs @ 10GB |
Form Factor | SXM |
Interconnect | NVLink: 600GB/s; PCIe Gen4: 64GB/s |
Server Options | NVIDIA HGX™ A100-Partner and NVIDIA-Certified Systems with 4,8, or 16 GPUs; NVIDIA DGX™ A100 with 8 GPUs |
Keterangan :
1Dengan sparsity
2GPU SXM4 via HGX A100 server boards; PCIe GPUs via NVLink Bridge untuk hingga dua GPUs
3400W TDP untuk standard configuration. HGX A100-80GB CTS (Custom Thermal Solution) SKU dapat mendukung TDPs up to 500W