NEDO-Safety-Qwen2.5-7b-Instruct

GENIAC 03 NEDO賞コンペティションへのエントリー

本モデルは、Qwen/Qwen2.5-7B-Instructをベースに、特定のトピックに対する拒否（refusal）を軽減するために構築されたデータセットを用いてLoRA学習を行ったバリアントです。 詳細については、NEDOのページにある当社のエントリー、または本エントリーのリポジトリをご覧ください。 https://github.com/shisa-ai/NEDO-safety-refusals

拒否の軽減率は以下の通りです。

本モデルを通じて、小規模なSFT（Supervised Fine-Tuning）学習により、モデルの能力を低下させることなく、標的としたバイアスに起因する拒否を軽減することが可能であることを示しました。

これは、NEDO賞トライアル期間中に指定した目標、すなわちモデルの能力をオリジナルから5%以内に維持しつつ、バイアスに起因する拒否を90%削減するという目標を達成するものです。 実際、私たちはJA-MTスコアが約10%向上したことを確認しました。これは、SFTのソースデータに使用された高品質な日本語テキストに起因するものと考えています。

JA-MT Benchの評価は、https://github.com/shisa-ai/shaberi のShaberiリポジトリを使用して行われました。 使用されたJudge（評価モデル）は gpt-5.1-2025-11-13 です。

LoRAの設定は以下の通りです。

トレーニングは以下のスクリプトを使うことで行いました。 train/refusals_unsloth_sft.py

--- ENGLISH BELOW---

Our entry into the GENIAC 03 NEDO Prize Competition.

This model is a LoRA-trained variant of Qwen/Qwen2.5-7B-Instruct with a dataset built to reduce refusals around certain specific topics. For details, please see our entry on the NEDO Prize page, or the training repo at https://github.com/shisa-ai/NEDO-safety-refusals.

Refusal reduction rates were as below:

We show via this model that it is possible to reduce targeted bias-induced refusals via small-scale SFT training while avoiding model capability degradation. This meets our target specified during the NEDO Prize trial period of a 90% reduction in bias-induced refusals while maintaining model capabilities within 5% of the original.

In fact, we saw an increase in JA-MT score by roughly 10%, a fact we attribute to the high-quality Japanese text used in the SFT source data.

Scoring done using the Shaberi repository at https://github.com/shisa-ai/shaberi Judge used was: gpt-5.1-2025-11-13

Thanks to the good people at Unsloth for their LoRA trainer, which was used in this project. While there are countless training frameworks available for LLMs, Unsloth remains a standout choice for single-GPU runs due to their top quality documentation, clean infrastructure, and commitment to keeping their codebase up-to-date.

Full training code is available at the GitHub repository using the code at train/refusals_unsloth_sft.py