odysseia-bpe-tokenizer

Odysseia BPE Tokenizer

Bu çalışma, Uygulamalı Yapay Zekâ Mimarisi eğitimi kapsamında hazırlanmıştır.

Tokenizer ilk olarak Hafta 1 çalışmasında Byte Pair Encoding (BPE) yöntemiyle oluşturulmuş ve Hugging Face üzerinde yayınlanmıştır.

Hafta 3.2 çalışmasında ise mevcut tokenizer yapısı korunarak tokenizer'a özel sohbet tokenları ve Jinja tabanlı bir Chat Template eklenmiştir.

Tokenizer Yapısı

• Tokenizer türü: Byte Pair Encoding (BPE)
• İlk vocab boyutu: 1024
• Temel özel token: <|endoftext|>
• Metin tabanlı kullanım için hazırlanmıştır.

Hafta 3.2 kapsamında aşağıdaki sohbet tokenları eklenmiştir:

• <|system|>
• <|user|>
• <|assistant|>

Eklenen tokenların ID değerleri:

<|system|> -> 1024
<|user|> -> 1025
<|assistant|> -> 1026

Custom Chat Template

Tokenizer'a system, user ve assistant rollerini işleyen özel bir Jinja Chat Template eklenmiştir.

Template ayrıca repo içerisinde chat_template.jinja dosyası olarak bulunmaktadır.

add_generation_prompt=True kullanıldığında template, yeni assistant cevabının başlayacağı bölümü de otomatik olarak ekler.

Kullanım

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained(
    "srhskrkc/odysseia-bpe-tokenizer"
)

messages = [
    {
        "role": "system",
        "content": "Sen yardımcı bir Türkçe asistansın."
    },
    {
        "role": "user",
        "content": "Odysseus kimdir?"
    }
]

formatted_chat = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)

print(formatted_chat)

Örnek Çıktı

<|endoftext|><|system|>
Sen yardımcı bir Türkçe asistansın.<|endoftext|>
<|user|>
Odysseus kimdir?<|endoftext|>
<|assistant|>

Doğrulama

Chat Template, tokenizer Hugging Face Hub üzerinden yeniden yüklenerek test edilmiştir.

Aşağıdaki özel tokenların yeniden yüklemeden sonra da korunduğu doğrulanmıştır:

<|system|> -> 1024
<|user|> -> 1025
<|assistant|> -> 1026

Ayrıca apply_chat_template() ile yapılan testte beklenen sohbet formatı başarıyla üretilmiştir.

Dosyalar

Repo içerisinde temel olarak:

• tokenizer.json
• tokenizer_config.json
• chat_template.jinja
• README.md

dosyaları bulunmaktadır.