Memori HBM dan Batas Sesungguhnya Akselerator AI Modern

Spesifikasi akselerator AI hampir selalu dipimpin oleh angka daya komputasi. Pada beban kerja inferensi yang sesungguhnya, angka yang lebih menentukan justru berada satu baris di bawahnya: bandwidth memori.

Intensitas aritmetika, dan mengapa ia menentukan

Setiap operasi komputasi membutuhkan data yang harus dipindahkan dari memori. Perbandingan antara jumlah operasi dengan jumlah byte yang dipindahkan disebut intensitas aritmetika, dan perbandingan inilah yang menentukan apakah sebuah beban kerja dibatasi komputasi atau dibatasi memori.

Pelatihan model umumnya memproses data dalam batch besar, sehingga bobot yang sama dipakai untuk banyak sampel sekaligus — intensitasnya tinggi, dan daya komputasi menjadi penentu. Inferensi yang menghasilkan token satu per satu berada di ujung sebaliknya: seluruh bobot lapisan harus dibaca untuk menghasilkan satu token.

Perhitungan yang sederhana dan mengejutkan

Kecepatan menghasilkan token pada model besar dapat diperkirakan tanpa mengetahui daya komputasi sama sekali. Bagi bandwidth memori dengan ukuran bobot model, dan hasilnya mendekati batas atas token per detik.

Model berukuran 140 GB pada akselerator dengan bandwidth 3 TB per detik menghasilkan sekitar dua puluh token per detik sebagai batas teoretis. Menggandakan daya komputasi tidak mengubah angka ini sedikit pun; menggandakan bandwidth memori menggandakannya.

Bagaimana HBM menjawab

High Bandwidth Memory menempuh pendekatan yang berbeda dari memori grafis konvensional. Alih-alih menaikkan frekuensi pada jalur yang sempit, HBM menumpuk beberapa die memori secara vertikal dan menghubungkannya melalui ribuan jalur yang sangat lebar, ditempatkan tepat di sebelah prosesor pada substrat yang sama.

Jalur yang pendek dan sangat banyak memberi bandwidth besar pada frekuensi rendah, yang sekaligus menekan konsumsi daya per byte. Harganya adalah proses manufaktur yang rumit dan biaya yang jauh lebih tinggi, serta kapasitas yang terbatas oleh ruang fisik di sekitar prosesor.

Cara membaca spesifikasi dengan benar

Untuk beban kerja inferensi, dua angka yang paling berguna adalah kapasitas memori dan bandwidth memori. Kapasitas menentukan apakah model muat sama sekali; bandwidth menentukan seberapa cepat ia berjalan setelah muat.

Angka daya komputasi menjadi penentu pada pelatihan, pemrosesan batch besar, dan tahap pengisian konteks panjang. Membaca spesifikasi tanpa mengetahui beban kerja yang akan dijalankan hampir pasti menghasilkan pilihan yang tidak optimal.

Arah yang ditempuh industri

Karena kesenjangan ini bersifat struktural, sebagian besar inovasi diarahkan pada pengurangan kebutuhan pemindahan data: kuantisasi yang memperkecil bobot, arsitektur yang hanya mengaktifkan sebagian parameter untuk setiap token, dan penyusunan ulang perhitungan agar data yang sudah berada di cache dipakai semaksimal mungkin.

Semuanya menyerang persoalan yang sama dari sisi perangkat lunak, karena menambah bandwidth dari sisi perangkat keras jauh lebih mahal daripada menambah daya komputasi.