TEMPO.CO, Jakarta - Teknologi kecerdasan buatan atau artificial intelligence disingkat AI semakin maju dengan lompatan kinerja yang signifikan, terutama setelah NVIDIA mengumumkan peluncuran chip terbarunya, NVIDIA HGX™ H200.

Berbasis arsitektur NVIDIA Hopper™, platform ini menampilkan GPU Tensor Core NVIDIA H200 dengan memori canggih untuk menangani jumlah data yang besar pada beban kerja generatif AI dan komputasi kinerja tinggi.

Peningkatan Kinerja yang Luar Biasa

Arsitektur NVIDIA Hopper memberikan lonjakan kinerja yang belum pernah terjadi sebelumnya dibandingkan dengan pendahulunya dan terus meningkatkan standar kinerja melalui peningkatan perangkat lunak berkelanjutan dengan H100, termasuk rilis terbaru dari open-source libraries yang kuat seperti NVIDIA TensorRT™-LLM.

Pengenalan H200 akan menghasilkan lonjakan kinerja lebih lanjut, termasuk hampir dua kali lipat kecepatan inferensi pada Llama 2, sebuah LLM 70 miliar parameter, dibandingkan dengan H100.

Detail Teknis NVIDIA H200

NVIDIA H200 adalah GPU pertama yang menawarkan HBM3e — memori yang lebih cepat dan lebih besar untuk mempercepat percepatan AI generatif dan model bahasa besar, sambil memajukan komputasi ilmiah untuk beban kerja HPC.

Dengan HBM3e, NVIDIA H200 memberikan 141 GB memori pada 4.8 terabyte per detik, hampir dua kali lipat kapasitas dan 2.4x lebih banyak bandwidth dibandingkan dengan pendahulunya, NVIDIA A100.

Sistem yang didukung oleh H200 dari produsen server terkemuka di dunia dan penyedia layanan cloud diharapkan mulai dikirim pada kuartal kedua tahun 2024.

Cloud Service Providers Bersiap Mengadopsi H200

NVIDIA H200 akan tersedia dalam papan server NVIDIA HGX H200 dengan konfigurasi empat dan delapan jalur, yang kompatibel dengan perangkat keras dan perangkat lunak dari sistem HGX H100. Ini juga tersedia dalam Superchip NVIDIA GH200 Grace Hopper™ dengan HBM3e, yang diumumkan pada bulan Agustus.

HGX H200 delapan jalur menyediakan lebih dari 32 petaflops komputasi deep learning FP8 dan 1.1TB memori bandwidth tinggi agregat untuk kinerja tertinggi dalam aplikasi generatif AI dan HPC.

Dengan opsi ini, H200 dapat diterapkan di setiap jenis pusat data, termasuk di lokasi, cloud, hybrid-cloud, dan edge. Ekosistem global mitra pembuat server NVIDIA (termasuk ASRock Rack, ASUS, Dell Technologies, Eviden, GIGABYTE, Hewlett Packard Enterprise, Ingrasys, Lenovo, QCT, Supermicro, Wistron, dan Wiwynn) dapat memperbarui sistem mereka yang ada dengan H200.

Amazon Web Services, Google Cloud, Microsoft Azure, dan Oracle Cloud Infrastructure akan menjadi penyedia layanan cloud pertama yang men-deploy instansi berbasis H200 mulai tahun depan. CoreWeave, Lambda, dan Vultr juga termasuk di antara penyedia layanan cloud yang akan mengadopsi H200.

Dengan dukungan NVIDIA NVLink™ dan NVSwitch™, HGX H200 memberikan kinerja chip tertinggi pada berbagai beban kerja aplikasi, termasuk pelatihan dan inferensi LLM untuk model terbesar melebihi 175 miliar parameter.

GADGETS NOW | NVIDIANEWS
Pilihan editor: Apple Kembangkan Chip Sendiri untuk Tingkatkan Kemampuan Kamera iPhone