Trendyol-LLM-7b-chat-v0.1-DPO

Model Description

This is the model card of a 🤗 transformers model that has been pushed on the Hub. This model card has been automatically generated.

• Developed by: Umar Igan
• Model type: LLama-2-7B-chat
• Language(s) (NLP): Turkish
• Finetuned from model: Trendyol-LLM-7b-chat-v0.1

How to Get Started with the Model

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="umarigan/Trendyol-LLM-7b-chat-v0.1-DPO")

# Generate text
sequences = pipe(
    "büyük dil modellerinin finans alanındaki kullanımları nelerdir",
    do_sample=True,
    temperature=0.7,
    top_p=0.9,
    num_return_sequences=1,
    max_length=200,
)
print(sequences[0]['generated_text'])

Question: büyük dil modellerinin finans alanındaki kullanımları nelerdir?
Answer: Çok büyük dil modelleri, özellikle de Transformer gibi, karmaşık dil görevlerinin üstesinden gelmek için tasarlanmışlardır. Bu, finansal piyasalardaki veri işleme, fiyat tahmini ve analizleri, finansal haberler ve raporlama gibi süreçleri içerir. Ayrıca, büyük dil modelleri, doğal dil işleme, metin sınıflandırma ve soru cevaplama gibi görevlerin yanı sıra, müşteri hizmetleri gibi insan etkileşimi gerektiren finansal hizmetlerde de kullanılmaktadır.

Training Details

Training Data

This model trained on falcon instruction dataset that translated to Turkis language Dataset: https://huggingface.co/datasets/umarigan/falcon_feedback_instraction_Turkish

Training Hyperparameters

Some training arguments are as follow:
max_prompt_length=1024,
max_length=1536,
per_device_train_batch_size=4,
gradient_accumulation_steps=4,
gradient_checkpointing=True,
learning_rate=5e-5,
lr_scheduler_type="cosine",
max_steps=200,
save_strategy="no",
logging_steps=1,
output_dir=new_model,
optim="paged_adamw_32bit",
warmup_steps=100,
fp16=True,

wandb results: https://api.wandb.ai/links/umar-i-gan/0hnrvrdq