Belajar UTS Kapita Selekta: NLP
Program Magister Ilmu Komputer UGM, UTS Genap 2025/2026. Jawab dulu dengan pikiranmu sendiri, baru buka penjelasannya.
Lembar soal asli (klik gambar untuk memperbesar)
| Mata kuliah | : Kapita Selekta Ilmu Komputer |
| Dosen | : Rifki Afina Putri, S.T., M.S., Ph.D. |
| Hari, tanggal | : Rabu, 15 April 2026 |
| Waktu / sifat | : 100 menit / tertutup |
Instruksi: (1) Kerjakan secara mandiri/individu; urutan jawaban tidak perlu berurutan, namun penomoran harus jelas. (2) Nilai UTS berkontribusi 25% terhadap nilai akhir. (3) Ujian tertutup: tidak boleh memakai buku, catatan, laptop, dan handphone.
PLO4.5/CO1: Mampu memahami dan menjelaskan sub-area dalam NLP
1. (5%) Tentukan apakah masing-masing pernyataan berikut Benar atau Salah, dan berikan alasannya dalam 1-2 kalimat.
PLO4.5/CO2: Mampu memahami dan mengimplementasikan algoritma dan teknik terkini dalam bidang NLP
2. (10%) Jelaskan masalah apa yang ingin diselesaikan oleh Low Rank Adaptation (LoRA) terhadap full fine-tuning, kemudian jelaskan masalah apa yang ingin diselesaikan oleh QLoRA terhadap LoRA. Untuk masing-masing, jelaskan ide utama yang digunakan untuk mengatasi masalah tersebut.
LoRA: masalah dan ide
Masalah: full fine-tuning memperbarui semua parameter. Memori besar (bobot + gradien + optimizer states Adam, sekitar 3–4× ukuran model), dan setiap tugas butuh satu salinan model penuh.
Detail yang bagus ditulis di jawaban
- B diinisialisasi nol, jadi di awal ΔW = 0 (model mulai persis dari model asli).
- Bisa di-merge: W = W₀ + BA, sehingga tidak ada latensi inferensi tambahan.
- Satu model dasar, banyak adapter kecil (satu per tugas).
Coba sendiri: berapa parameter yang dilatih?
Satu matriks bobot berukuran d × d. Geser rank r dan lihat bedanya.
Full fine-tuning: parameter
LoRA (r·(d+k)): parameter, yaitu dari full
QLoRA: masalah dan ide
Masalah: LoRA mengurangi memori training, tetapi bobot model dasar masih disimpan 16-bit. Model 65B ≈ 130 GB hanya untuk bobot, tidak muat di satu GPU biasa.
| Trik | Fungsi |
|---|---|
| NF4 (4-bit NormalFloat) | Tipe data 4-bit yang dirancang untuk bobot yang berdistribusi normal. |
| Double quantization | Konstanta kuantisasi ikut dikuantisasi untuk menghemat memori. |
| Paged optimizers | Memakai memori CPU saat GPU hampir penuh, mencegah out-of-memory. |
Kritis: bobot 4-bit tidak dilatih. Saat forward/backward, bobot di-dequantize ke BF16, dan gradien hanya mengalir ke adapter. Trade-off: training lebih lambat dan ada sedikit kehilangan presisi.
Cek pemahaman
PLO4.5/CO2: Mampu memahami dan mengimplementasikan algoritma dan teknik terkini dalam bidang NLP
3. (10%) Dalam pipeline Reinforcement Learning from Human Feedback (RLHF), terdapat beberapa "aktor": (a) labeler/annotator, (b) reward model, (c) Proximal Policy Optimization (PPO), dan (d) base/pretrained model. Jelaskan peran masing-masing aktor di dalam pipeline RLHF dan pada tahap mana mereka terlibat.
Klik tiap tahap untuk melihat siapa saja yang terlibat.
Catatan kritis
- Labeler tidak terlibat di Tahap 3. Di sana manusia digantikan reward model (proxy).
- Karena hanya proxy, ada risiko reward hacking (Goodhart's law). Penalti KL membatasinya.
- PPO adalah algoritma, bukan model. Implementasinya memakai policy, reference model, reward model, dan critic.
- DPO menghilangkan reward model dan PPO, langsung belajar dari data preferensi.