Downloads · 30 days
16
36% of all-time downloads
beagle-pretrain-v1
BeagleWorks/beagle-pretrain-v1
beagle-pretrain-v1 is a text generation model from BeagleWorks. Use it when you need the model to write or continue text. It is set up for transformers. The card lists the license as apache-2.0.
All-time downloads
45
Public
Parameters
336M
2.7 GB on disk
Likes
0
Public
Repo makeup
Click a slice to open those files.
.bin1.3 GB · 50%
At a glance
- Task
- Text Generation
- Library
- transformers
- License
- apache-2.0
- Model type
- gpt2
- Access
- Public
- Created
- Sep 26, 2025
- Updated
- Sep 26, 2025
- SHA
- 01514685
Model card
From the Hugging Face model README
事前学習会の用のモデルです
モデル
パラメータ数は300M強
24レイヤー、1024隠し層、16ヘッド
学習データ
オープンソースな日本語データセットを利用
トークナイザー
Unigram, Metaspace
データセットからトークナイザーを学習
事前学習
GPT2系のデコーダから作成
DeepSpeed ZeRO-3 / CPUオフロード
1epochのみ
- Task
- Text Generation
- Library
- transformers
- Type
- gpt2
- License
- apache-2.0
- Languages
- ja
- Created
- Sep 26, 2025
- Updated
- Sep 26, 2025