llm-jp-3-13b-finetune

Model Card for Model ID

<!-- Provide a quick summary of what the model is/does. -->

Model Details

Model Description

<!-- Provide a longer summary of what this model is. -->

This is the model card of a 🤗 transformers model that has been pushed on the Hub. This model card has been automatically generated.

• Developed by: [oishii_bread]
• Model type: [Causal Language Model]
• Language(s) (NLP): [Japanese]
• License: [Apache 2.0]
• Finetuned from model [optional]: [ichikara instruction]

<!-- Provide the basic links for the model. -->

• Repository: [https://huggingface.co/oishii-bread/llm-jp-3-13b-finetune]

概要

[松尾研大規模言語モデル講座2024のコンペ用の提出モデル作成の一環として作成・公開しています。

This model is built with Llama and Qwen.

学習データ等の詳細については元モデルの概要をご確認ください。]

推論方法

<!-- These are the things the evaluation is disaggregating by, e.g., subpopulations or domains. -->

[Hugging Faceで取得したTokenと、ベースとなるモデルと学習したLoRAのアダプタを利用する。 QLoRA configをし、モデルをロードし、もとのモデルにLoRAのアダプタを統合する。 データセットの読み込みを行い、実行する。]

ライセンス

<!-- These are the evaluation metrics being used, ideally with a description of why. -->

[本モデルは学習に利用したデータの関係で以下のライセンスの影響を受けます。 https://liat-aip.sakura.ne.jp/wp/llm%E3%81%AE%E3%81%9F%E3%82%81%E3%81%AE%E6%97%A5%E6%9C%AC%E8%AA%9E%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%A9%E3%82%AF%E3%82%B7%E3%83%A7%E3%83%B3%E3%83%87%E3%83%BC%E3%82%BF%E4%BD%9C%E6%88%90/]