Downloads · 30 days
14
6% of all-time downloads
aixsatoshi/Mod-karakuri-8x7B-InstructionBoost
Mod-karakuri-8x7B-InstructionBoost is a text generation model from aixsatoshi. Use it when you need the model to write or continue text. It is set up for transformers. The card lists the license as apache-2.0.
Downloads · 30 days
14
6% of all-time downloads
All-time downloads
226
Public
Parameters
46.7B
93.4 GB on disk
Likes
0
Public
Click a slice to open those files.
.safetensors93.4 GB · 100%
From the Hugging Face model README
karakuri-ai/karakuri-lm-8x7b-chat-v0.1
に対して、Instructの差分ベクトルを加算しています
mistralai/Mixtral-8x7B-Instruct-v0.1 - mistralai/Mixtral-8x7B-v0.1
継続事前学習や、事後学習で、元モデルのInstructionの一部のタスクに健忘が発生するという仮説に基づき、ベクトルを加算して戻し入れ思い出させるというアプローチをとっています