komodo-7b-sentiment

Model Card for Model ID

Model ini latih untuk dapat melakukan klasifikasi sentimen analisis komentar pada YouTube dengan 3 label sentimen yaitu Positif, Negatif, dan Netral. Model ini dilatih dengan menggunakan 2000 dataset dan mencapai akurasi hingga 91%.

Model Description

More details can be found in our paper: TBD

• Developed by: Edward Thomas Alexander
• Model type: Decoder
• Languages: Indonesian
• License: llama2

Model Sources

• Repository: https://github.com/Edwardt753/Komodo-7b-SentimentApp
• Paper [optional]: TBD

Uses

Digunakan untuk melakukan klasifikasi sentimen terhadap sebuah kalimat yang diberikan kepada model ini

How to Get Started with the Model

model_dir = "Yellow-AI-NLP/komodo-7b-base"
adapter_dir = "Edwardt753/komodo-7b-sentiment"
id2label = {0: "Negative", 1: "Neutral", 2: "Positive"}
label2id = {"Negative": 0, "Neutral": 1, "Positive": 2}
model = AutoModelForSequenceClassification.from_pretrained(
    model_dir,
    num_labels=3,  # Ensure the model has 3 labels
    id2label=id2label,
    label2id=label2id
)
tokenizer = AutoTokenizer.from_pretrained(model_dir)
def smart_tokenizer_and_embedding_resize(model, tokenizer):
    if tokenizer.pad_token is None:
        tokenizer.add_special_tokens({'pad_token': '[PAD]'}) 
    model.resize_token_embeddings(len(tokenizer))
smart_tokenizer_and_embedding_resize(model, tokenizer)
model = PeftModel.from_pretrained(model, adapter_dir)

Training Data

Dataset yang digunakan adalah dataset komentar dari YouTube yang discraping dengan YouTube API V3 dan melakukan manual labeling pada komentar tersebut sejumlah 2000 baris data dengan pembagian 700 sentimen positif, 700 sentimen negatif, dan 600 sentimen netral

Training Hyperparameters

lr = 1e-5
batch_size = 4
num_epochs = 3

Konfigurasi dari BnB dengan kuantitasi 4-bit

load_in_4bit=True,
bnb_4bit_quant_type="nf4",
bnb_4bit_compute_dtype=getattr(torch, "bfloat16")
bnb_4bit_use_double_quant=True,

Evaluation

Framework versions

• PEFT 0.13.2