Retrieval-Augmented Generation (RAG) Tingkat Lanjut: Menghilangkan Halusinasi Informasi AI

Model kecerdasan buatan sering memberikan jawaban yang meyakinkan namun salah ketika ditanya mengenai dokumen internal. Pola arsitektur RAG hadir untuk membumikan respon pada sumber yang dapat diperiksa, bukan pada ingatan samar dari data pelatihan.

Di mana RAG generasi awal gagal

Implementasi awal mengandalkan kemiripan kosinus atas embedding vektor semata. Pendekatan ini baik menangkap kedekatan makna, tetapi buruk pada hal yang justru sering ditanyakan: nomor dokumen, kode produk, nama orang, istilah teknis yang jarang muncul.

Embedding cenderung menganggap dua kalimat dengan struktur serupa sebagai mirip, meski nomor di dalamnya berbeda. Untuk pencarian pengetahuan perusahaan, kegagalan semacam ini fatal — jawaban terdengar relevan tetapi merujuk dokumen yang keliru.

Pencarian hibrida dan reranking

Implementasi lanjutan menggabungkan pencarian kata kunci BM25 dengan embedding vektor padat. BM25 unggul pada kecocokan harfiah, embedding unggul pada kedekatan makna, dan keduanya menutupi kelemahan masing-masing. Hasil keduanya digabung, umumnya melalui peringkat resiprokal.

Tahap berikutnya adalah reranking. Model cross-encoder membaca pasangan pertanyaan dan kandidat dokumen secara bersamaan, bukan mengubah keduanya menjadi vektor terpisah. Ini jauh lebih akurat tetapi juga jauh lebih lambat, sehingga hanya diterapkan pada dua puluh hingga lima puluh kandidat teratas — bukan pada seluruh korpus.

Pemecahan dokumen yang sering diremehkan

Kualitas RAG lebih sering ditentukan oleh cara dokumen dipecah daripada oleh model yang dipakai. Potongan yang terlalu kecil kehilangan konteks; yang terlalu besar mengencerkan sinyal dan memboroskan jendela konteks.

Pemecahan yang mengikuti struktur dokumen — mengikuti batas bagian dan subjudul, bukan menghitung karakter — hampir selalu mengungguli pemecahan berukuran tetap. Menyertakan judul bagian pada setiap potongan membantu pencarian menemukan konteks yang benar.

Mengukur, bukan mengira

Pendekatan terstruktur ini memangkas halusinasi secara dramatis pada sistem bantuan pelanggan dan analisis dokumen. Namun RAG tidak menghapus halusinasi; ia memindahkan persoalannya. Jika pencarian mengembalikan dokumen yang salah, model akan mengarang dengan percaya diri berdasarkan dokumen yang salah itu.

Karena itu evaluasi harus memisahkan dua hal: seberapa sering pencarian menemukan dokumen yang benar, dan seberapa setia jawaban terhadap dokumen yang ditemukan. Sistem yang mencantumkan sumber pada setiap jawaban memberi pengguna cara memeriksa sendiri — pengaman terakhir yang paling murah dan paling efektif.