tugas-pba13

Tugas PBA Pertemuan 13

Anggota Kelompok

• Arya Muda Siregar (123450063)
• Arielva Simon Siahaan (123450105)
• Haikal Fransisko Simbolon (123450106)

---

Deskripsi

Repository ini berisi implementasi dan eksperimen dasar Large Language Model (LLM) menggunakan Groq API, Sentence Transformers, dan FAISS pada tugas Pemrosesan Bahasa Alami (PBA) Pertemuan 13.

---

Tugas A

Summarization dan Analisis Token

Eksperimen summarization menggunakan model:

• llama-3.3-70b-versatile

Pengujian dilakukan dengan:

• 3 jenis prompt
• 3 temperature berbeda (0.1, 0.7, 1.2)

Fokus Analisis

• Perbandingan panjang output
• Penggunaan token
• Pengaruh temperature terhadap variasi jawaban

Hasil

• Prompt 1 kalimat menghasilkan token paling sedikit
• Prompt bullet dan fokus angka menghasilkan output lebih detail
• Temperature rendah lebih stabil dan konsisten

---

Tugas B

RAG (Retrieval Augmented Generation)

Implementasi:

• Sentence Transformers
• FAISS Index
• Retrieval dokumen berbasis embedding

Dataset

Menggunakan dokumen sederhana terkait:

• ITERA
• Lampung
• Indonesia

Tujuan

• Mengambil dokumen paling relevan
• Menjawab pertanyaan berdasarkan konteks retrieval

Hasil

• Retriever berhasil mengambil konteks relevan pada beberapa query
• Query “Apa itu seruit?” gagal mengambil dokumen yang sesuai
• Menunjukkan pentingnya kualitas embedding Bahasa Indonesia

---

Tugas C

Bias Evaluation dan Chain of Thought (CoT)

Bias Prompt

Pengujian stereotype gender pada beberapa profesi:

• dokter
• programmer
• guru
• polisi
• dll

Hasil

• Output cenderung netral
• Tidak ditemukan kata ber-gender pada sampel pengujian

---

Chain of Thought (CoT) vs Non-CoT

Pengujian reasoning/logika menggunakan:

• pertanyaan logika sederhana
• CoT dan tanpa CoT

Hasil

• Keduanya menghasilkan jawaban benar
• CoT menghasilkan penjelasan lebih detail
• Non-CoT lebih singkat dan hemat token

---

Teknologi yang Digunakan

• Python
• Groq API
• Llama 3.3 70B
• Sentence Transformers
• FAISS
• Google Colab

---

File Repository

• Kelompok14_PBA13.pdf
• Kelompok14_PBA13.ipynb

---

Kesimpulan

Eksperimen menunjukkan bahwa:

• Prompt memengaruhi panjang dan kualitas output LLM
• RAG membantu membatasi hallucination dengan konteks retrieval
• Embedding Bahasa Indonesia masih memiliki tantangan
• CoT meningkatkan keterjelasan reasoning meskipun token lebih banyak