rag-contextual-indo-4b

import torch
from transformers import pipeline

model_id = "akahana/rag-contextual-indo-4b"
pipe = pipeline(
    "text-generation",
    model=model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)

prompt = """
Berdasarkan konteks berikut, jawab pertanyaan di bawah ini dengan jelas.
Jika jawaban tidak ada dalam konteks, katakan "Saya tidak menemukan informasi tersebut dalam konteks.

Konteks :
Pada 3 Juli 1971, presiden mengangkat 100 anggota DPR dari Angkatan Bersenjata dan memberikan 9 kursi wakil Provinsi Irian Barat untuk wakil dari Golkar.
Setelah menggabungkan kekuatan-kekuatan partai politik, Soeharto dipilih kembali menjadi presiden oleh Sidang Umum MPR (Tap MPR No IX/MPR/1973) pada 23 Maret 1973 untuk jabatan yang kedua kali.
Saat ini, Sri Sultan Hamengku Buwono IX mendampinginya sebagai wakil presiden.

Pertanyaan:
Siapa yang menjadi wakil presiden ?

Jawaban:

"""
messages = [
    {
        "role":"user",
        "content":prompt,
    }
]

outputs = pipe(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])