Downloads · 30 days
44
38% of all-time downloads
keitokei1994/Llama-3-8B-shisa-2x8B
Llama-3-8B-shisa-2x8B is a text generation model from keitokei1994. Use it when you need the model to write or continue text. It is set up for transformers. The card lists the license as llama3.
このモデルは、MergeKitツールを使用して作成されたMixture of Experts (MoE) 言語モデルです。
Downloads · 30 days
44
38% of all-time downloads
All-time downloads
115
Public
Repo size
27.3 GB
Likes
2
Public
Click a slice to open those files.
.safetensors27.3 GB · 100%
From the Hugging Face model README
このモデルは、MergeKitツールを使用して作成されたMixture of Experts (MoE) 言語モデルです。
gguf版は こちら
mradermacherさんがgguf形式での量子化を行ってくれました。こちらから確認できます
元のmeta-llama/Meta-Llama-3-8B-Instructに、日本語データセットでファインチューニングされたshisa-ai/shisa-v1-llama3-8を合わせることで、元のMeta-Llama-3-8B-Instructの能力を維持したまま、日本語能力を向上させようとしたモデルです。
Sdff-Ltba/LightChatAssistant-2x7Bと Aratako/LightChatAssistant-4x7Bにインスパイアされて、Llama3でのMoEを始めています。お二人に感謝します。
お二人が行なっているような、ファインチューニングモデルから取り出したchatvectorを加算し、MoEモデル化するアプローチも手元では行なっていますので、今後時間のある時にモデルのアップロードができたらと考えています。
Q4_K_M量子化モデルであれば、RTX3060 12GBでフルロード可能です。
筆者はWSL2やGoogle Colaboratotry Proでの作成後、Llama.cppとLMstudioにて動作確認を行なっています。
license: llama3 language:
This model is a Mixture of Experts (MoE) language model created using the MergeKit tool.
gguf is here .
By combining the original meta-llama/Meta-Llama-3-8B-Instruct with shisa-ai/shisa-v1-llama3-8, which was fine-tuned on a Japanese dataset, this model aims to improve Japanese language capabilities while maintaining the abilities of the original Meta-Llama-3-8B-Instruct.
Inspired by Sdff-Ltba/LightChatAssistant-2x7B and Aratako/LightChatAssistant-4x7B, I have started MoE on Llama3. I am grateful to both of them.
I am also experimenting with adding chatvectors extracted from fine-tuned models and creating MoE models, similar to the approach taken by the two individuals mentioned above. I plan to upload the models in the future.
With Q4_K_M quantization, the model can be fully loaded on an RTX 3060 12GB.
I have tested the model on Windows, WSL2 in Windows and Google Colaboratory Pro after creation, and have verified its functionality using Llama.cpp and LMstudio.