rag-contextual-indo-8b

import torch
from transformers import pipeline

model_id = "akahana/rag-contextual-indo-8b"
pipe = pipeline(
    "text-generation",
    model=model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)

prompt = """
Berdasarkan konteks berikut, jawab pertanyaan di bawah ini dengan jelas.
Jika jawaban tidak ada dalam konteks, katakan "Saya tidak menemukan informasi tersebut dalam konteks.

Konteks :
Pada 3 Juli 1971, presiden mengangkat 100 anggota DPR dari Angkatan Bersenjata dan memberikan 9 kursi wakil Provinsi Irian Barat untuk wakil dari Golkar.
Setelah menggabungkan kekuatan-kekuatan partai politik, Soeharto dipilih kembali menjadi presiden oleh Sidang Umum MPR (Tap MPR No IX/MPR/1973) pada 23 Maret 1973 untuk jabatan yang kedua kali.
Saat ini, Sri Sultan Hamengku Buwono IX mendampinginya sebagai wakil presiden.

Pertanyaan:
Siapa yang menjadi wakil presiden ?

Jawaban:

"""

messages = [
    {"role": "user", "content": prompt},
]
outputs = pipe(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])