tinyllama-indo-lora-v1

🇮🇩 TinyLLaMA-1.1B-Chat LoRA Adapter (Indonesian)

Ini adalah LoRA adapter yang dilatih dari model dasar TinyLlama/TinyLlama-1.1B-Chat-v1.0 untuk Bahasa Indonesia, menggunakan kumpulan data instruksi seperti Alpaca, ShareGPT, dan Evol-Instruct versi Bahasa Indonesia dari FreedomIntelligence.

Adapter ini memungkinkan kamu untuk menjalankan TinyLLaMA dengan kemampuan Bahasa Indonesia tanpa perlu melatih ulang seluruh model.

🔧 Cara Menggunakan

from transformers import AutoTokenizer, AutoModelForCausalLM
from peft import PeftModel
import torch

# Load base model & tokenizer
base_model = AutoModelForCausalLM.from_pretrained("TinyLlama/TinyLlama-1.1B-Chat-v1.0", device_map="auto", torch_dtype=torch.float16)
tokenizer = AutoTokenizer.from_pretrained("TinyLlama/TinyLlama-1.1B-Chat-v1.0")

# Load LoRA adapter
model = PeftModel.from_pretrained(base_model, "nayerim/tinyllama-indo-lora-v1")

# Gunakan chat template jika tersedia
messages = [
    {"role": "user", "content": "Apa pendapatmu tentang teknologi AI?"}
]
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)

# Tokenisasi dan generate
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=100, do_sample=True, temperature=0.7)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))