Downloads · 30 days
10
36% of all-time downloads
CodeModernBERT-Crow-v2
Shuu12121/CodeModernBERT-Crow-v2
CodeModernBERT-Crow-v2 is a fill-mask model from Shuu12121. Use it when you need the model to fill a missing word. The card lists the license as apache-2.0.
CodeModernBERT-Crow-v2 は、GitHub リポジトリから収集したファイル単位のソースコードを用いて事前学習した、コード理解特化型の ModernBERT 系モデルです。 Python / Java / JavaScript / Go / Ruby / Rust / PHP / TypeScript を含む 8 言語で構成された大規模コードコーパスをもとに学習しており、約 0.3B パラメータを持ちます。
All-time downloads
28
Public
Parameters
302M
1.2 GB on disk
Likes
0
Public
Repo makeup
Click a slice to open those files.
.safetensors1.2 GB · 100%
At a glance
- Task
- Fill-Mask
- License
- apache-2.0
- Model type
- modernbert
- Access
- Public
- Created
- Dec 3, 2025
- Updated
- Dec 6, 2025
- SHA
- 9f272d9c
Try a prompt
Datasets
Model card
From the Hugging Face model README
CodeModernBERT-Crow-v2🐦⬛
CodeModernBERT-Crow-v2 は、GitHub リポジトリから収集したファイル単位のソースコードを用いて事前学習した、コード理解特化型の ModernBERT 系モデルです。 Python / Java / JavaScript / Go / Ruby / Rust / PHP / TypeScript を含む 8 言語で構成された大規模コードコーパスをもとに学習しており、約 0.3B パラメータを持ちます。
本モデルは、総計 10.6B トークンに基づいて事前学習されており、標準的なマスク言語モデル（MLM）に加えて、行単位マスキング（line-level masking） を組み合わせた学習戦略を採用しています。 行単位マスキングの詳細についてはこちらのサイトをご確認ください これにより、コード中の**局所的文脈（token-level）とより大きな構造的文脈（line-level）**の両方を捉える能力が向上し、コード検索・コード補完など、さまざまなプログラミング言語処理タスクでの活用が期待できます。
評価については今後記載予定です（個人的な理由で立て込んでいるのと、別のモデルを訓練するため）
Model Architecture
- Model type: ModernBERT (encoder-only)
- Total parameters: 302M
- Hidden size: 1024
- Intermediate size (FFN): 1536
- Layers: 28
- Attention heads: 16
- Max sequence length: 8192
- Vocabulary size: 50,368
- Position encoding: RoPE (local/global)
- Local attention: window size 128
- Task
- Fill-Mask
- Type
- modernbert
- License
- apache-2.0
- Languages
- en
- Created
- Dec 3, 2025
- Updated
- Dec 6, 2025