Arsitektur Transformer Generasi Baru: Mengapa Quantization 4-Bit Mengubah Komputasi Lokal

Perkembangan model bahasa besar selama dua tahun terakhir didominasi oleh perburuan kapasitas parameter yang semakin masif. Namun kendala memori VRAM menjadi pembatas paling nyata bagi penerapan praktis di lingkungan komputasi mandiri. Inovasi kuantisasi 4-bit seperti AWQ dan GPTQ menawarkan lompatan efisiensi yang sebelumnya dianggap mustahil.

Mengapa memori, bukan kecepatan, yang menjadi penghalang

Kesalahpahaman paling umum tentang inferensi model bahasa adalah menganggapnya persoalan kecepatan komputasi. Kenyataannya, pada tahap menghasilkan token satu per satu, GPU menghabiskan sebagian besar waktunya menunggu bobot model berpindah dari VRAM ke unit komputasi. Operasi ini disebut memory-bound: jumlah operasi aritmetika per byte data yang dipindahkan sangat rendah.

Konsekuensinya penting. Memangkas ukuran bobot tidak hanya menghemat ruang penyimpanan, tetapi langsung mempercepat inferensi, karena setiap byte yang tidak perlu dipindahkan adalah waktu tunggu yang hilang. Inilah alasan kuantisasi memberi peningkatan kecepatan, bukan sekadar penghematan memori.

Cara kerja kuantisasi terpilih

Kuantisasi naif — membulatkan seluruh bobot ke 4-bit secara seragam — menghancurkan akurasi model. Pendekatan modern berangkat dari pengamatan bahwa tidak semua bobot sama pentingnya. Sebagian kecil bobot, sering di bawah satu persen, memiliki pengaruh besar terhadap keluaran karena berhubungan dengan aktivasi bermagnitudo tinggi.

AWQ mengidentifikasi bobot penting tersebut dengan menganalisis statistik aktivasi pada sampel data kalibrasi, lalu melindunginya dengan penskalaan sebelum kuantisasi. GPTQ menempuh jalan berbeda: ia mengkuantisasi bobot kolom demi kolom sambil mengompensasi galat yang terakumulasi pada kolom yang belum diproses, menggunakan informasi turunan kedua dari fungsi kerugian.

Keduanya berbagi prinsip yang sama — galat kuantisasi tidak dihindari, melainkan diarahkan ke tempat yang paling sedikit merusak.

Angka yang realistis

Dengan mengompresi bobot dari presisi 16-bit ke representasi 4-bit, kebutuhan bandwidth memori berkurang sekitar 70 persen. Model berparameter 70 miliar yang semula menuntut lebih dari 140 GB VRAM dapat ditekan hingga sekitar 40 GB, cukup untuk dua kartu grafis konsumen kelas atas, dengan kecepatan inferensi di kisaran 20 hingga 25 token per detik.

Evaluasi perplexity menunjukkan penurunan di bawah dua persen dibandingkan model dasar. Namun angka perplexity menyembunyikan sesuatu: degradasi tidak tersebar merata. Tugas penalaran berantai, aritmetika multi-langkah, dan pemanggilan fungsi terstruktur menurun jauh lebih terasa daripada tugas ringkasan atau percakapan umum.

Yang jarang disebutkan

Kuantisasi bukan tanpa biaya. Proses kalibrasi membutuhkan data representatif; model yang dikalibrasi dengan teks bahasa Inggris kerap menunjukkan degradasi lebih besar pada bahasa lain, termasuk bahasa Indonesia. Dukungan kernel juga belum merata — sebagian format hanya berjalan optimal pada arsitektur GPU tertentu, dan menjalankannya di perangkat keras yang tidak didukung justru lebih lambat daripada presisi penuh.

Bagi pengembang yang mengutamakan kedaulatan data, terobosan ini tetap membuka peluang nyata: asisten internal tanpa ketergantungan pada API pihak ketiga, dengan biaya perangkat keras satu kali alih-alih tagihan per token. Saran praktisnya sederhana — ukur kualitas pada tugas Anda sendiri, bukan pada papan peringkat umum, karena di situlah selisih dua persen itu menampakkan wujud aslinya.