qwen3-32b-lora-querypie-identification-jp-finance

Qwen3-32B Japanese Financial LoRA Adapter

🌐 Multilingual Documentation / 다국어 가이드 / 多言語ガイド

<details> <summary><b>🇰🇷 한국어 버전 상세 가이드 보기 (Click to expand)</b></summary>

1. 한 줄 요약

• LoRA Adapter Only: 본 리포지토리는 Full 가중치가 포함되지 않은 LoRA Adapter 가중치만 포함하고 있습니다.
• Base Model: 대형 언어 모델인 Qwen/Qwen3-32B 가중치 위에 결합하여 동작합니다.
• Domain Focus: 일본어 금융 도메인(투자, 은행, 보험, 회계 등) 지식 QA 및 QueryPie 아이덴티티, 경기 워처 조사를 통한 경기 판단/감성 분석 능력을 학습한 특화 모델입니다.

2. Model Details

• 모델 타입: LoRA adapter
• Base Model: Qwen/Qwen3-32B
• Fine-tuning Method: LoRA
• Adapter Configuration: Rank=32, Alpha=64
• 개발/공유 주체: QueryPie

3. Intended Use

• 주요 용도: - QueryPie Identification 정체성 관련 응답 생성
  • 투자, 은행, 보험, 회계 등 전반적인 일본 금융정보 지식 기반 QA
  • 일본 내각부 경기워처조사(Economy Watchers Survey) 포맷에 맞춘 경기 판단 및 감성 분류, 경제 상황 분석 요약
• 목적: 내부 테스트, 평가 및 검증용 모델 (실제 운영 서비스 전 단계의 도메인 적합성 검증 목적)

4. Out-of-Scope Use

• 단독 실행 불가: 본 Adapter 단독으로는 정상적인 텍스트 생성 기능이 동작하지 않으며, 반드시 지정된 Base Model을 함께 로드해야 합니다.
• 자동 확정 제한: 금융, 회계, 법률적 판단을 모델의 생성 응답에만 전적으로 의존하여 자동 확정하는 용도로는 사용할 수 없으며, 반드시 전문가의 검토가 수반되어야 합니다.
• 언어 변환 품질: 본 모델은 범용 다국어 번역 목적이 아닌 특정 금융 도메인 지식 습득을 타깃으로 배합되었습니다. 프롬프트를 통해 인위적인 타 언어 변환을 지속 시도할 경우 출력 품질을 보장하지 않습니다.

5. Training Data

본 모델은 공개된 오픈소스 데이터셋 및 자체 구축 데이터를 원본으로 하여, 금융 및 정체성 학습 목적에 맞게 전처리, 필터링 및 샘플링 가공을 거친 데이터셋을 활용해 학습되었습니다. (상업적 이용 가능 데이터로만 구성)

• 자체 정체성 데이터 (QueryPie Identity Data): 모델 고유 정체성 유지를 위해 자체 제작된 다국어 데이터셋으로, 도메인 데이터 간 균형을 위해 오버샘플링을 적용해 가공했습니다.
• 일본 내각부 경기워처조사 데이터 (Economy Watchers Survey): retarfi/economy-watchers-survey 원본을 바탕으로 경기 5단계 분류 및 경제 분석 요약 태스크 형태로 템플릿을 적용해 샘플링 가공했습니다.
• 금융 지식 인스트럭션 데이터 (Finance-Instruct-Japanese): ronantakizawa/Finance-Instruct-500k-Japanese 원본에서 문장 길이 및 품질 기준을 통과한 데이터 위주로 정제하여 활용했습니다.

6. Evaluation

• Method & Results: 자체적으로 구축한 일본 금융 지식 및 정체성 검증용 테스트셋(총 100건의 QA 쌍)을 활용하여 정량적 정확도(Accuracy)를 평가한 결과입니다. 파라미터 사이즈 대비 매우 효율적인 도메인 적응 성과를 보여줍니다.

</details> <details> <summary><b>🇯🇵 日本語版の詳細ガイドを表示 (Click to expand)</b></summary>

1. クイックサマリー

• LoRA Adapter Only: 本リポジトリはFullモデルではなく、LoRA Adapterの重みのみを含んでいます。
• Base Model: 大規模言語モデルである Qwen/Qwen3-32B の重みの上に結合して動作します。
• Domain Focus: 日本語の金融ドメイン（投資、銀行、保険、会計など）の知識QA、QueryPieのアイデンティティ、および景気ウォッチャー調査を通じた景気判断・感情分析能力を学習した特化型モデルです。

2. Model Details

• モデルタイプ: LoRA adapter
• Base Model: Qwen/Qwen3-32B
• Fine-tuning Method: LoRA
• Adapter Configuration: Rank=32, Alpha=64
• 開発・共有主体: QueryPie

3. Intended Use

• 主な用途:
  • QueryPie Identificationのアイデンティティに関する応答生成
  • 投資、銀行、保険、会計など、全般的な日本の金融情報知識に基づくQA
  • 内閣府「景気ウォッチャー調査」のフォーマットに合わせた景気判断、景気動向の感情分類、経済状況の分析要約
• 目的: 内部テスト、評価および検証用モデル（実際の運用サービスに適用する前のドメイン適合性検証目的）

4. Out-of-Scope Use

• 単独実行不可: 本Adapter単独では正常なテキスト生成機能が動作しません。必ず指定されたBase Modelを同時にロードする必要があります。
• 自動意思決定の禁止: 金融、会計、法律的な判断をモデルの生成応答のみに全面的に依存して自動確定させる用途には使用できません。必ず専門家の査読が必要です。
• 言語変換の品質制限: 本モデルは汎用的な多言語翻訳目的ではなく、特定の金融ドメイン知識の習得をターゲットとしています。プロンプトを通じて人為的に他言語への変換を試み続ける場合、出力の品質は保証されません。

5. Training Data

本モデルは、公開されたオープンソースデータセットおよび独自に構築したデータをソースとし、金融およびアイデンティティ学習の目的に合わせて前処理、フィルタリング、サンプリング加工を施したデータセットを利用して学習されました。（商業利用可能なデータのみで構成）

• 独自アイデンティティデータ (QueryPie Identity Data): モデルの固有アイデンティティを維持するために独自に作成された多言語データセットです。ドメインデータとのバランスを考慮し、オーバサンプリングを適用して加工しました。
• 内閣府 景気ウォッチャー調査データ (Economy Watchers Survey): retarfi/economy-watchers-survey をベースに、景気状態を5段階に分類するタスクや経済状況の分析・見通し要約タスクのテンプレートを適用してサンプリング加工しました。
• 金融知識インストラクションデータ (Finance-Instruct-Japanese): ronantakizawa/Finance-Instruct-500k-Japanese から、文長および品質基準をクリアした高精度なデータを精査してサンプリング利用しました。

6. Evaluation

• Method & Results: 独自に構築した日本の金融知識およびアイデンティティ検証用のテストセット（計100件のQAペア）を活用し、定量的な正確性（Accuracy）を評価した結果です。パラメータサイズに対して非常に効率的なドメイン適応成果を示しています。

</details>

---

1. Quick Summary

• LoRA Adapter Only: This repository contains only the LoRA adapter weights, not the full model.
• Base Model: It operates on top of the large language model Qwen/Qwen3-32B.
• Domain Focus: This model is fine-tuned for Japanese financial domain knowledge (investment, banking, insurance, accounting) and QueryPie identity metadata, optimized for sentiment analysis and financial QA.

2. Model Details

• Model Type: LoRA adapter
• Base Model: Qwen/Qwen3-32B
• Fine-tuning Method: LoRA
• Adapter Configuration:
  • r (LoRA Rank): 32
  • lora_alpha: 64
• Developer/Organization: QueryPie

3. Intended Use

• Primary Use Cases: - Generating responses related to QueryPie Identification identity.
  • Answering general questions based on Japanese financial knowledge (investment, banking, insurance, accounting, etc.).
  • Sentiment classification (5 levels) and economic condition analysis based on the Economy Watchers Survey format.
• Intended Audience: Internal testing, evaluation, and domain suitability verification before production deployment.

4. Out-of-Scope Use

• No Standalone Execution: This adapter cannot generate text on its own. It must be loaded together with the specified base model.
• No Automated Legal/Financial Decisions: The model's outputs should not be used as final legally binding or automated financial decisions. All outputs must be reviewed by a human expert.
• Cross-Lingual Forcing: Forcing cross-lingual translation tasks (e.g., Japanese input with forced Korean output) may result in degraded quality, as the model was optimized primarily for Japanese financial domain comprehension.

5. Training Data

The model was trained using a blended portfolio of open-source datasets and proprietary metadata, fully preprocessed, filtered, and sampled for financial domain adaptation. All source datasets support commercial use.

• QueryPie Identity Data
  • Source: Internally generated multilingual (mainly Japanese, including English and Korean) identity dataset.
  • Processing: Oversampled to maintain identity within large-scale domain data.
• Economy Watchers Survey Data
  • Source: HuggingFace retarfi/economy-watchers-survey (CC-BY 4.0)
  • Processing: Formatted into 5-level sentiment classification and macroeconomic summary tasks using specialized templates.
• Finance-Instruct-Japanese
  • Source: HuggingFace ronantakizawa/Finance-Instruct-500k-Japanese (Apache 2.0)
  • Processing: Filtered based on sentence length and quality criteria to capture broad financial common sense.

6. Evaluation

• Method & Results: Evaluated using an internally curated domain test set consisting of 100 gold-standard financial QA pairs.

7. How to Use

PEFT Loading Example (Python)

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

base_model_name = "Qwen/Qwen3-32B"
adapter_model_name = "querypieai/qwen3-32b-lora-querypie-id-jp-finance"

tokenizer = AutoTokenizer.from_pretrained(base_model_name)
model = AutoModelForCausalLM.from_pretrained(
    base_model_name,
    torch_dtype=torch.float16,
    device_map="auto"
)

# Load LoRA Adapter
model = PeftModel.from_pretrained(model, adapter_model_name)