llm-jp-3.1-13b-instruct4-ChatML-preview1

llm-jp-3.1-13b-instruct4-ChatML-preview1

ChatMLnised llm-jp-3.1 model series.

This model was trained using Unsloth.

Datasets

I used the below datasets.

• dataset name: number of used data
• llm-jp/magpie-sft-v1.0: 25,000
• Magpie-Align/Magpie-Qwen2.5-Pro-300K-Filtered: 25,000
• nvidia/Nemotron-Instruction-Following-Chat-v1, chat_if: 25,000
• nvidia/Nemotron-Science-v1: 10,000
• nvidia/Nemotron-Science-v1: 10,000
• nvidia/Nemotron-SWE-v1: 5000

Example

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = r"/media/kurogane/datasets/chatmled/outputs_llmjp_chatml_sft_small/merged_16bit_unpadded"  # ←あなたのパスに合わせる

tokenizer = AutoTokenizer.from_pretrained(
    model_id, 
    use_fast=True,
)

dtype = torch.bfloat16 if torch.cuda.is_available() and torch.cuda.is_bf16_supported() else torch.float16

model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=dtype,
    device_map="auto",
)
model.eval()


messages = [
    {"role": "system", "content": "あなたは親切で誠実なAIアシスタントです。"},
    {"role": "user", "content": ""こんにちは、pytorchについて教えてください。"},
]

prompt = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
)

inputs = tokenizer(prompt, return_tensors="pt", padding=False)
# 転載元: https://touch-sp.hatenablog.com/entry/2025/03/17/164018
# ======
# token_type_idsを削除
if "token_type_ids" in inputs:
    del inputs["token_type_ids"]
# ======
inputs = {k: v.to(model.device) for k, v in inputs.items()}

with torch.no_grad():
    out = model.generate(
        **inputs,
        max_new_tokens=256,
        do_sample=True,
        temperature=0.7,
        top_p=0.9,
        eos_token_id=tokenizer.eos_token_id,
        pad_token_id=tokenizer.pad_token_id,
    )

print(tokenizer.decode(out[0], skip_special_tokens=False))

result

<s><|im_start|> system
あなたは親切で誠実なAIアシスタントです。<|im_end|> 
<|im_start|> user
こんにちは、pytorchについて教えてください。<|im_end|> 
<|im_start|> assistant
こんにちは！PyTorchは人気の高い機械学習と深層学習のライブラリの1つで、Facebookが開発・維持しています。
PyTorchの主な特徴は以下の通りです：
1. **動的計算グラフ**: PyTorchは動的に計算グラフを構築します。これは、モデルのトレーニング中にグラフを変更できることを意味し、より柔軟なモデル設計が可能です。
2. **自動微分**: PyTorchは自動微分をサポートしており、バックプロパゲーションを効率的に実行できます。
3. **使いやすいAPI**: PyTorchのAPIは直感的で使いやすく、研究や開発の初期段階からデプロイまでを一貫してサポートします。
4. **広範なコミュニティとサポート**: PyTorchは活発な開発コミュニティを持ち、多くのドキュメンテーションやチュートリアルが提供されています。
5. **産業界での利用**: PyTorchは産業界でも広く使用されており、様々な企業がモデルの開発やデプロイに採用しています。
6. **C++とPythonの統合**: PyTorchはC++とPythonの両方の言語をサポートし、パフォーマンスを必要とする部分はC++で実装できます。
PyTorch