AXELIDEA-QUON-14B-Japanese-v01

<p align="center"> <img src="penguin_quon_var4.png" alt="AXELIDEA-QUON-14B-Japanese-v01" width="800"> </p>

AXELIDEA-QUON-14B-Japanese-v01

Model Description / モデル概要

English

AXELIDEA-QUON-14B-Japanese-v01 is a 14B parameter Japanese-English bilingual large language model specialized in creative thinking and idea generation, developed by Axelidea Inc.

The model employs a novel approach that distills creative thinking patterns from a vast corpus of Japanese patent literature — a treasure trove of humanity's collective ingenuity. Built on shisa-ai/shisa-v2.1-unphi4-14b (MIT License), it excels in divergent thinking, cross-domain analogical reasoning, and structured ideation.

日本語

AXELIDEA-QUON-14B-Japanese-v01は、Axelidea株式会社が開発した、創造的思考とアイデア生成に特化した140億パラメータの日英バイリンガル大規模言語モデルです。

人類の英知である大量の日本語特許文献データから創造的思考パターンを蒸留する独自手法を採用しています。shisa-ai/shisa-v2.1-unphi4-14b（MITライセンス）をベースとし、拡散的思考、分野横断的類推推論、構造化されたアイデア創出に優れています。

---

Evaluation Results / 評価結果

English

In a comparative evaluation of non-thinking instruction-tuned models in the 14B-class, AXELIDEA-QUON-14B-Japanese-v01 achieved 1st place on JA Leaderboard (average of 7 Japanese evaluation tasks).

All models were evaluated under identical conditions (lm_eval v0.4.12.dev0, 3-shot, bfloat16, --apply_chat_template).

日本語

非思考型instruction-tuned 14Bクラスの比較評価において、AXELIDEA-QUON-14B-Japanese-v01はJA Leaderboard（日本語総合評価7タスク平均）で首位を達成しました。

全モデルを同一条件（lm_eval v0.4.12.dev0、3-shot、bfloat16、--apply_chat_template）で評価しています。

---

Technical Highlights / 技術的特徴

English

1. Creativity Distillation from Vast Patent Literature

Creative thinking patterns were extracted and distilled from a vast corpus of Japanese patent literature. The logical structure inherent in patent documents — problem definition, solution approach, and demonstrated effects — proved highly effective as training data for creative problem-solving capabilities.

2. 60 Creativity Expert LoRAs

Based on Torrance's (1966) TTCT (Torrance Tests of Creative Thinking) framework, 60 expert LoRAs were individually trained across 4 categories (divergent thinking, analogical reasoning, perspective shifting, constrained creativity) × 15 subdomains. Each expert specializes in a specific creative thinking style, ensuring comprehensive coverage of diverse aspects of creativity.

3. 5-Dimensional Creativity Scoring (QUON-CreativityBench)

A proprietary quality scoring system evaluates patent-derived training data across five dimensions: Originality, Elaboration, Feasibility, Fluency, and Flexibility. This enables efficient selection of high-quality training data from large-scale patent corpora.

4. QUBO-Based Expert Team Optimization

The problem of selecting the optimal combination of experts from 60 LoRAs was formulated as a QUBO (Quadratic Unconstrained Binary Optimization) problem. This formulation unifies expert quality, skill diversity, and category balance into a single energy function. It is also directly extensible to quantum computing (quantum annealers, gate-based quantum algorithms, CMOS Ising machines).

5. Knowledge-Preserving Fine-Tuning

By freezing FFN layers that store factual knowledge and adapting only the attention mechanism, the model acquires creative capabilities while preserving the base model's general knowledge — addressing the catastrophic forgetting problem.

日本語

1. 大量の特許文献データからの創造性蒸留

人類の英知である大量の日本語特許文献データから創造的思考パターンを抽出・蒸留しました。特許文書に含まれる「課題設定→解決手段→効果」の論理構造は、創造的問題解決能力の訓練データとして極めて有効です。

2. 60体の創造性エキスパートLoRA

Torrance (1966) のTTCT（Torrance Tests of Creative Thinking）理論に基づき、4カテゴリ（拡散的思考、類推的推論、視点転換、制約創造性）×15サブドメインの計60体のエキスパートLoRAを個別に訓練しました。各エキスパートが特定の創造的思考スタイルに特化することで、多様な創造性の側面を網羅しています。

3. 5次元創造性スコアリング（QUON-CreativityBench）

独自の品質スコアリングシステムにより、特許由来の訓練データ品質を独創性（Originality）、精緻性（Elaboration）、実現可能性（Feasibility）、流暢性（Fluency）、柔軟性（Flexibility）の5次元で評価します。これにより、大規模な特許データから高品質な訓練データを効率的に選別することが可能です。

4. QUBO最適化によるエキスパートチーム選出

60体のエキスパートLoRAから最適な組み合わせを選出する問題を、QUBO（Quadratic Unconstrained Binary Optimization）問題として定式化しました。エキスパートの品質、スキル多様性、カテゴリバランスを単一のエネルギー関数に統合的にエンコードしています。この定式化は量子コンピュータ（量子アニーリング、ゲート型量子アルゴリズム、CMOSイジングマシン）への直接的な拡張性を有します。

5. 知識保持型ファインチューニング

事実知識を保持するFFN層を凍結し注意機構のみを適応させることで、壊滅的忘却の問題に対処しながら、ベースモデルの汎用知識を保持したまま創造性を獲得しています。

---

Intended Uses / 想定用途

English

• Creative ideation and brainstorming: Generating novel ideas, exploring alternative solutions, and facilitating divergent thinking sessions.
• Patent strategy and technical consulting: Supporting patent landscape analysis, prior art exploration, and invention disclosure drafting.
• Cross-domain innovation support: Bridging concepts across different technical fields to inspire interdisciplinary innovation.
• Research assistance: Supporting literature review, hypothesis generation, and research direction exploration.

日本語

• 創造的なアイデア創出とブレインストーミング: 新規アイデアの生成、代替ソリューションの探索、拡散的思考セッションの促進。
• 特許戦略・技術コンサルティング: 特許ランドスケープ分析、先行技術調査、発明開示書作成の支援。
• 分野横断的イノベーション支援: 異なる技術分野の概念を橋渡しし、学際的イノベーションを促進。
• 研究支援: 文献レビュー、仮説生成、研究方向の探索支援。

---

Limitations / 制限事項

English

• Instruction-following capability may be limited: The model may not reliably follow complex or highly structured instructions, as training prioritized creative generation over strict instruction compliance.
• Domain bias: Primarily trained on Japanese patent data, which may introduce biases toward technical and engineering domains.
• Computational requirements: 14B parameters require significant GPU memory and computational resources for inference.
• Factual accuracy: The model may generate incorrect or misleading information, especially outside its training domain.
• Safety: This model is not designed for safety-critical applications.

日本語

• 指示追従能力が限定的な場合がある: 訓練が厳密な指示追従よりも創造的生成を優先しているため、複雑な指示や高度に構造化された指示に確実に従わない可能性があります。
• ドメインバイアス: 主に日本語特許データで訓練されているため、技術・工学分野へのバイアスがある可能性があります。
• 計算リソース要件: 140億パラメータのため、推論には十分なGPUメモリと計算リソースが必要です。
• 事実精度: 特に訓練ドメイン外では、不正確または誤解を招く情報を生成する可能性があります。
• 安全性: 本モデルは安全性が重要なアプリケーション向けに設計されていません。

---

How to Use / 使用方法

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_name = "Axelidea/AXELIDEA-QUON-14B-Japanese-v01"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)

messages = [
    {"role": "user", "content": "再生可能エネルギーと農業を組み合わせた革新的なビジネスアイデアを3つ提案してください。"},
]

input_ids = tokenizer.apply_chat_template(
    messages, tokenize=True, add_generation_prompt=True, return_tensors="pt"
).to(model.device)

outputs = model.generate(
    input_ids,
    max_new_tokens=1024,
    temperature=0.7,
    top_p=0.9,
    do_sample=True,
    repetition_penalty=1.05,
)

response = tokenizer.decode(outputs[0][input_ids.shape[-1]:], skip_special_tokens=True)
print(response)

Chat Template

This model uses the ChatML-style template with <|im_start|>, <|im_sep|>, and <|im_end|> tokens:

<|im_start|>system<|im_sep|>{system_message}<|im_end|>
<|im_start|>user<|im_sep|>{user_message}<|im_end|>
<|im_start|>assistant<|im_sep|>

---

Acknowledgments / 謝辞

本研究の計算の一部は、東京科学大学のスーパーコンピュータTSUBAME4.0を利用させていただきました。ここに深く感謝申し上げます。

Part of the computational work in this study was performed using the TSUBAME4.0 supercomputer at Institute of Science Tokyo. We gratefully acknowledge their support.

---

Third-Party Licenses

This model contains weights derived from the following MIT-licensed models:

• shisa-ai/shisa-v2.1-unphi4-14b: Copyright (c) Shisa.AI. MIT License.
• microsoft/phi-4: Copyright (c) Microsoft Corporation. MIT License.

---

Citation / 引用

@misc{axelidea-quon-2026,
  title={AXELIDEA-QUON-14B-Japanese-v01: A Creativity-Specialized Japanese LLM via Multi-Expert Patent Distillation},
  author={Axelidea Inc.},
  year={2026},
  url={https://huggingface.co/Axelidea/AXELIDEA-QUON-14B-Japanese-v01},
}