Downloads · 30 days
5
3% of all-time downloads
fieldvalley-llm2025/llm2025_main_merged_dpo03
llm2025_main_merged_dpo03 is a machine learning model from fieldvalley-llm2025. Use it for the machine learning task on the model card, and read the license before you ship it in a product. The card lists the license as apache-2.0.
本モデルは、2025年最終課題メインコンペティションへの提出用モデルです。 ベースモデル Qwen/Qwen2.5-7B-Instruct に対し、SFTおよび3段階のDPO(Direct Preference Optimization)を適用して調整されています。 特に最終段階(Round 3)では、JSON形式の厳格な出力(コードブロックや説明文の排除)に特化して学習を行いました。
Downloads · 30 days
5
3% of all-time downloads
All-time downloads
159
Public
Parameters
4B
8.1 GB on disk
Likes
0
Public
Click a slice to open those files.
.safetensors8 GB · 100%
From the Hugging Face model README
本モデルは、2025年最終課題メインコンペティションへの提出用モデルです。
ベースモデル Qwen/Qwen2.5-7B-Instruct に対し、SFTおよび3段階のDPO(Direct Preference Optimization)を適用して調整されています。
特に最終段階(Round 3)では、JSON形式の厳格な出力(コードブロックや説明文の排除)に特化して学習を行いました。
daichira/structured-hard-sft-4k (High Quality) + u-10bei/structured_data_with_cot_dataset_512_v4u-10bei/dpo-dataset-qwen-cot (JSONタスク抽出)json ... )...){ で始まり } で終わる純粋なJSON以外は学習データから除外。from unsloth import FastLanguageModel
model, tokenizer = FastLanguageModel.from_pretrained(
model_name = "YOUR_USERNAME/dpo-qwen-round3-final", # Replace with your repo id
max_seq_length = 2048,
dtype = None,
load_in_4bit = True,
)
FastLanguageModel.for_inference(model)
prompt = "以下のデータをJSON形式に変換してください..."
inputs = tokenizer([prompt], return_tensors = "pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens = 512, use_cache = True)
print(tokenizer.batch_decode(outputs))