llm-jp-3-13b-finetune

モデルの概要

<!-- Provide a quick summary of what the model is/does. -->

Model Details

Model Description

<!-- Provide a longer summary of what this model is. -->

松尾研大規模言語モデル講座2024のコンペに関する、提出モデル作成の一環として作成・公開しています。<br> 学習データ等の詳細については元モデルの概要をご確認ください。<br>

• Developed by: Kota Miyano
• Model type: Causal Language Model
• Language(s) (NLP): 日本語
• License: CC-BY-NC-SA (商用NG)
• Finetuned from model: llm-jp-3-13b

Uses

<!-- Address questions around how the model is intended to be used, including the foreseeable users of the model and those affected by the model. -->

Direct Use

<!-- This section is for the model use without fine-tuning or plugging into a larger ecosystem/app. -->

・日本語の指示に基づく応答の生成に使用。<br>

Out-of-Scope Use

<!-- This section addresses misuse, malicious use, and uses that the model will not work well for. -->

商用目的での使用は禁止。<br> ※CC-BY-NC-SA ライセンスに準拠<br>

Bias, Risks, and Limitations

<!-- This section is meant to convey both technical and sociotechnical limitations. -->

Bias<br> ・このモデルには、事前学習およびファインチューニングデータに含まれるバイアスがあります。<br>

Risks<br> ・人間による検証なしに生成されたコンテンツに過度に依存すること。<br> ・誤情報や有害なコンテンツを助長するような状況での誤用。<br>

Limitations<br> ・特定の分野やリソースが限られたタスクでは、性能が低下する可能性があります。<br>

Recommendations

<!-- This section is meant to convey recommendations with respect to the bias, risk, and technical limitations. -->

具体的なユースケースに応じてモデルを慎重に評価し、バイアスやリスクを軽減するために追加のファインチューニングや後処理を検討してください。<br>

How to Get Started with the Model

下記の使い方をもとに使用してください。<br>

・Installation

pip install -U pip transformers bitsandbytes accelerate datasets peft trl wandb ipywidgets

・Usage

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

model_id = "llm-jp-3-13b-finetune"
model = AutoModelForCausalLM.from_pretrained(model_id)
tokenizer = AutoTokenizer.from_pretrained(model_id)

prompt = "### 指示\n質問に答えてください。\n### 回答\n"
input_ids = tokenizer(prompt, return_tensors="pt").input_ids
output = model.generate(input_ids, max_new_tokens=100)
print(tokenizer.decode(output[0], skip_special_tokens=True))

Training Details

Training Data

<!-- This should link to a Dataset Card, perhaps with a short stub of information on what the training data is all about as well as documentation related to data pre-processing or additional filtering. -->

Ichikara Instruction CC-BY-NC-SA ライセンスで学習を実施。<br>

Training Hyperparameters

• Training regime: <!--fp32, fp16 mixed precision, bf16 mixed precision, bf16 non-mixed precision, fp16 non-mixed precision, fp8 mixed precision --> Batch Size：1<br> Gradient Accumulation Steps：2<br> Learning Rate：5e-5<br> Epochs：1<br> Sequence Length：512<br> Optimizer：Paged AdamW 32-bit<br>

Evaluation

<!-- This section describes the evaluation protocols and provides the results. -->

本モデルの評価はトレーニングデータセット上で実施されており、未知のタスクでは応答の品質が低下する場合があります。<br> <br>