Downloads · 30 days
0
aixsatoshi/Mixtral-8x7B-Lora-cosmopedia-japanese20k
Mixtral-8x7B-Lora-cosmopedia-japanese20k is a machine learning model from aixsatoshi. Use it for the machine learning task on the model card, and read the license before you ship it in a product. The card lists the license as apache-2.0.
Downloads · 30 days
0
Access
Public
Updated Mar 9, 2024
Repo size
453 MB
Likes
1
Public
Click a slice to open those files.
.safetensors453 MB · 100%
From the Hugging Face model README
目的
高性能なMixtral8x7B-instructを日本語で使用するためのLoraです。
今回cosmopediaを日本語翻訳したデータ20kで学習しました。
https://huggingface.co/datasets/aixsatoshi/cosmopedia-japanese-20k
cosmopediaは、Mixtralで生成されたデータであり、Mixtralの英語機能で得られる知識、論理が凝縮されています。
このデータで学習することで、モデル本来の性能を日本語で引き出すことを目的としました。
性能
前回のcalm2生成の合成データセットでチューニングよりも実際の体感性能がよいように感じます。
https://huggingface.co/aixsatoshi/Mixtral-8x7B-ja-Lora-sft-ChatbotArenaJAcalm2
Limitation
Lora学習であり限界はあります。不自然な日本語が出現することがあります。
日本語で継続事前学習したほうが、高品質な次token予測ができるようになると思います。