Downloads · 30 days
358
2% of all-time downloads
DopeorNope/Mistralopithecus-v0.1-10.8B
Mistralopithecus-v0.1-10.8B is a text generation model from DopeorNope. Use it when you need the model to write or continue text. It is set up for transformers. The card lists the license as cc-by-nc-sa-4.0.
Model Developers Seungyoo Lee (DopeorNope)
Downloads · 30 days
358
2% of all-time downloads
All-time downloads
19.3K
Public
Parameters
10.8B
43.4 GB on disk
Likes
0
Public
Click a slice to open those files.
.safetensors43.4 GB · 100%
From the Hugging Face model README
Model Developers Seungyoo Lee (DopeorNope)
이 모델은 Mistral Base의 새로운 아키텍쳐이며, 10.7B의 파라미터로 구성되었습니다. (Solar나, 시나트라 베이스 모델이 아닙니다.)
약 1.5B의 토큰으로 pretrain 되었으나, 실험단계로 향후 다시 훈련되어 새롭게 나올 예정입니다.
테스트용으로 올려봅니다.
Context length가 32k 까지지원 가능한 모델이며, 향후 더 완벽하게 설계하여 올리도록 하겠습니다.