Downloads · 30 days
19
3% of all-time downloads
Tokara-0.5B-v0.1
Kendamarron/Tokara-0.5B-v0.1
Tokara-0.5B-v0.1 is a text generation model from Kendamarron. Use it when you need the model to write or continue text. It is set up for transformers. The card lists the license as other.
Qwen/Qwen1.5-0.5Bを日英データ5Bトークンで継続事前学習したモデルです。
All-time downloads
720
Public
Parameters
464M
2.8 GB on disk
Likes
1
Public
Repo makeup
Click a slice to open those files.
.pt1.9 GB · 66%
At a glance
- Task
- Text Generation
- Library
- transformers
- License
- other
- Model type
- qwen2
- Access
- Public
- Created
- May 6, 2024
- Updated
- May 8, 2024
- SHA
- 5e75887a
Model card
From the Hugging Face model README
モデルについて
Qwen/Qwen1.5-0.5Bを日英データ5Bトークンで継続事前学習したモデルです。
ベンチマークのスコアは低下していますが、ベースモデルよりも安定して日本語を出力するようになっています。
詳細はこちらをご覧ください。
ベンチマーク
Stability-AI/lm-evaluation-harnessの3項目で評価
| モデル | jsquad(1-shot) | jcommonsenseqa(1-shot) | jnli(1-shot) |
|---|---|---|---|
| Kendamarron/Tokara-0.5B-v0.1 | 26.4295 | 0.2663 | 0.5509 |
| Qwen/Qwen1.5-0.5B | 31.3597 | 0.2556 | 0.5534 |
名前について
日本の在来馬であるトカラ馬から
from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline
model = AutoModelForCausalLM.from_pretrained('Kendamarron/Tokara-0.5B-v0.1')
tokenizer = AutoTokenizer.from_pretrained('Kendamarron/Tokara-0.5B-v0.1')
pipe = pipeline('text-generation', model=model, tokenizer=tokenizer)
prompt = "大規模言語モデルとは、"
print(pipe(prompt, max_length=128, repetition_penalty=1.1, temperature=0.7, top_p=0.95))
- Task
- Text Generation
- Library
- transformers
- Type
- qwen2
- License
- other
- Languages
- ja, en
- Featherless Ai
- live
- Created
- May 6, 2024
- Updated
- May 8, 2024