Apa itu HBM? Definisi dari HBM

 

Gambar dari HBM generasi kedua yang dibuat Samsung (Sumber dari: https://www.extremetech.com/gaming/288018-samsung-flashbolt-hbm2-is-33-percent-faster-doubles-capacity)

HBM, singkatan dari High Bandwidth Memory, merupakan memori antarmuka yang dipakai pada DRAM (Dynamic Random Access Memory) yang ditumpuk 3D di beberapa GPU, CPU server, HPC (High Performance Computing), XPU dan komputer jaringan. Chip HBM dibuat  oleh beberapa perusahaan besar meliputi Samsung dan SK Hynix. 

HBM adalah salah satu jenis memori baru yang digunakan pada CPU/GPU/XPU (RAM) yang menumpuk chip memori secara vertikal, mirip dengan gedung pencakar langit yang memiliki lantai-lantai yang bertumpuk. Dengan melakukan ini, jarak antar informasi dapat diperpendek. Modul HBM ini terhubung ke CPU atau GPU melalui interkoneksi ultra cepat yang disebut "interposer". Beberapa tumpukan HBM dipasang di atas interposer bersama-sama dengan CPU atau GPU, dan modul ini dihubungkan ke papan sirkuit. 

Meskipun tumpukan HBM ini tidak terintegrasi secara fisik dengan CPU atau GPU, mereka terhubung begitu dekat dan cepat melalui interposer sehingga karakteristik HBM hampir tidak dapat dibedakan dari RAM yang terintegrasi pada chip.

HBM memanfaatkan teknologi tumpukan 3D untuk menggabungkan beberapa lapisan chip memori secara vertikal, sehingga meningkatkan kepadatan dan bandwidth memory. Chip memori dihubungkan dengan menggunakan Through-Silicon Vias (TVS), yang memungkinkan komunikasi yang efisien antara lapisan yang berbeda. 

(Sumber dari: AMD)

Memori HBM didesain untuk bekerja dengan Graphic DRAM Control (GDC) guna memberikan akses kecepatan tinggi ke memori. Memori HBM memiliki bus data yang sangat lebar (hingga 1024 bit), sehingga memungkinkan transfer data dengan kecepatan tinggi. 

Selain kinerja dan efisien yang daya tinggi, HBM juga memiliki kemampuan untuk menghemat ruang pada sebuah produk. Hal ini memungkinkan perangkat dengan form factor yang baru dan memberikan ukuran yang lebih kecil. Dibandingkan dengan memori DDR/GDDR, HBM dapat memuat jumlah memori yang sama dalam ruang yang lebih kecil hingga 94%.

Secara keseluruhan, HBM memberikan sejumlah keuntungan dibandingkan teknologi memori tradisional, termasuk bandwidth yang lebih tinggi, konsumsi daya yang lebih rendah, dan faktor bentuk yang lebih kecil.

Tujuan utama dari penggunaan HBM adalah untuk menawarkan bandwidth yang jauh lebih tinggi dan konsumsi daya yang lebih rendah dibandingkan dengan teknologi memori GDDR/DDR yang ada saat ini. 

Standar JESD235 mendefinisikan chip memori HBM generasi pertama (HBM1) dengan antarmuka 1024-bit dan data-rate hingga 1 Gb/s. Chip memori ini menumpuk dua, empat, atau delapan perangkat DRAM dengan dua saluran 128-bit per perangkat pada die logika dasar.

Setiap tumpukan HBM (juga dikenal sebagai KGSD - Known Good Stacked Die) mendukung hingga delapan saluran 128-bit karena antarmuka fisiknya dibatasi menjadi 1024 bit. Setiap saluran pada dasarnya adalah antarmuka DDR 128-bit dengan arsitektur prefetch 2n (256 bit per akses baca dan tulis memori) yang memiliki bank DRAM sendiri (8 atau 16 bank, tergantung pada densitas), antarmuka perintah dan data, clock-rate, waktu, dan sebagainya.

Setiap saluran dapat bekerja secara independen dari saluran lain dalam tumpukan atau bahkan di dalam satu Die DRAM. Tumpukan HBM menggunakan interposer silikon pasif untuk terhubung ke prosesor host.

(sumber dari: The Story of SK hynix's HBM Development)

HBM gen 1 memori yang diproduksi oleh SK Hynix (satu-satunya perusahaan yang membuatnya secara komersial) menumpuk empat die memori 2 Gb dan beroperasi pada data rate 1 Gb/s per pin. AMD menggunakan KGSD ini dengan kapasitas 1 GB dan bandwidth puncak 128 GB/s per tumpukan untuk membangun paket sistem-in (SiP) GPU Fiji dan kartu grafis Radeon R9 Fury/R9 Nano. Adapter grafis memiliki 4 GB VRAM onboard, yang tidak banyak untuk tahun 2016. Meskipun kartu video unggulan AMD tidak tampak memiliki masalah kapasitas saat ini, 4 GB memori per adapter grafis adalah batasan. Kartu grafis terbaru dari AMD memiliki bandwidth memori 512 GB/s, jumlah yang sangat besar menurut standar saat ini, tetapi bahkan jumlah tersebut dapat menjadi batasan untuk GPU high-end di masa depan.

Gambar dari GPU AMD Radeon R9 Fury yang menggunakan memory HBM generasi pertama (Sumber dari: https://gamesystemrequirements.com/gpu/radeon-r9-fury)

Pada tahun 2016, HBM2 diluncurkan dan pada Desember 2018, JEDEC mengeluarkan standar HBM2 yang diperbarui. Standar yang telah diperbarui ini secara umum disebut sebagai HBM2 dan HBM2E untuk menunjukkan perbedaan dengan standar HBM2 asli. Namun, spesifikasi tersebut diperbarui kembali pada awal 2020 dan nama "HBM2E" tidak lagi resmi digunakan. Meskipun demikian, beberapa orang atau perusahaan masih merujuk pada HBM2 sebagai HBM2E atau bahkan HBMnext berkat Micron. 

Saat ini, standar HBM2 memungkinkan bandwidth hingga 3,2 GBps per pin dengan kapasitas maksimum 24GB per tumpukan (kapasitas maksimum 2GB per die melintasi 12 dies per tumpukan) dan bandwidth maksimum 410 GBps yang disampaikan melalui antarmuka memori 1.024-bit yang terpisah oleh 8 saluran unik pada setiap tumpukan.

Awalnya, HBM2 memiliki transfer rate maksimum 2 GBps per pin, kapasitas maksimum 8GB per tumpukan (kapasitas maksimum 1GB per die melintasi 8 dies per tumpukan) dan bandwidth maksimum 256 GBps. Kemudian, transfer rate maksimum ditingkatkan menjadi 2,4 Gbps per pin dan kapasitas maksimum menjadi 24GB (kapasitas maksimum 2GB per die melintasi 12 dies per tumpukan) dan bandwidth maksimum 307 GBps.

 
  (Sumber dari: 
Evolusi High Bandwidth Memory (HBM) terus berlanjut dengan JEDEC Solid State Technology Association yang  menyelesaikan dan menerbitkan spesifikasi HBM3 hari ini,  dengan fitur-fitur unggulan termasuk hingga 819 GBps  bandwidth yang dikombinasikan dengan hingga 16 tumpukan  dan kapasitas hingga 64GB.

Dalam beberapa tahun terakhir, kita telah melihat beberapa  indikasi mengenai perkembangan HBM3 dari anggota  JEDEC. Pada bulan November, SK Hynix melakukan demo  HBM3 dengan kapasitas 24GB, sementara Rambus  mengumumkan PHY dan memory controller gabungan yang siap untuk HBM3 pada bulan Agustus. Kini, JEDEC telah menetapkan spesifikasi HBM3 sehingga industri pembuat dan pengguna HBM dapat maju. Salah satu kemajuan yang paling menarik adalah kapasitas potensial HBM3, yang dapat ditingkatkan melalui penumpukan die HBM dengan menggunakan teknologi TSV dan tumpukan yang lebih tinggi.

Spesifikasi HBM3 memungkinkan kapasitas hingga 64GB dengan menggunakan 32Gb 16-high stacks, tetapi saat ini spesifikasi hanya dibatasi hingga maksimum 12-high stacks, sehingga kapasitas maksimum adalah 48GB. JEDEC telah menyatakan bahwa tumpukan TSV 16-high akan tersedia untuk perluasan di masa depan. JEDEC juga mengungkapkan bahwa perangkat HBM3 pertama diharapkan akan berdasarkan lapisan memori 16Gb. Pembuat perangkat akan memiliki banyak pilihan konfigurasi dengan rentang kepadatan dan pilihan tumpukan dalam spesifikasi HBM3.

JEDEC juga menekankan pada RAS (Reliability, Availability, Serviceability) level tinggi HBM3, dengan fitur Error Correction Code (EEC) yang terpasang di dalam chip, serta kemampuan untuk melaporkan kesalahan secara real-time. Selain itu, HBM3 juga menawarkan efisiensi energi yang tinggi dengan menggunakan sinyal 0,4V dan tegangan operasi 1,1V. Semua fitur ini sangat menarik bagi pasar pelanggan target pemrosesan HPC dan AI yang membutuhkan keandalan dan performa tinggi.

Gambar dari GPU Nvidia H100 "Hopper" yang menggunakan memory HBM generasi ketiga, (Sumber dari: https://www.nvidia.com/en-in/data-center/h100/)

Dengan spesifikasi HBM3 yang telah dirilis, diharapkan kita akan melihat adopsi teknologi memori ini secara bertahap. Namun, seperti yang telah disebutkan sebelumnya, penggunaan HBM3 kemungkinan akan sangat difokuskan pada pusat data, perusahaan, pelanggan HPC, dan sejenisnya. 


sumber dari: 








Komentar

Posting Komentar