Downloads · 30 days
144
18% of all-time downloads
Laplace1313/DeepSeek-V4-Flash-0731-JA-REAP-K216-EXL3-3bpw-DGX-Spark
DeepSeek-V4-Flash-0731-JA-REAP-K216-EXL3-3bpw-DGX-Spark is a text generation model from Laplace1313. Use it when you need the model to write or continue text. It is set up for custom. The card lists the license as other.
DeepSeek V4 Flash-0731を、日本語、ツール呼び出し、コーディング向けに調整したDGX Spark 1台用モデルです。K216 TP1のメインモデル、対応するK64 DSparkドラフトモデル、位置補正アダプター、専用ランタイムをまとめて配布しています。
Downloads · 30 days
144
18% of all-time downloads
All-time downloads
779
Public
Parameters
60B
109 GB on disk
Likes
2
Public
Click a slice to open those files.
.safetensors109 GB · 100%
How the weights are stored.
I1643.8B · 73%
From the Hugging Face model README
DeepSeek V4 Flash-0731を、日本語、ツール呼び出し、コーディング向けに調整したDGX Spark 1台用モデルです。K216 TP1のメインモデル、対応するK64 DSparkドラフトモデル、位置補正アダプター、専用ランタイムをまとめて配布しています。
GitHubのソース · ファイル一覧 · ライセンス · リリースマニフェスト
[!IMPORTANT] 付属の専用ランタイムでのみ検証しています。標準のTransformers、vLLM、SGLangでは起動できません。
| 項目 | 内容 |
|---|---|
| ベースモデル | deepseek-ai/DeepSeek-V4-Flash-0731 |
| メインモデル | K216 REAP / EXL3 3.0 bpw / TP1 |
| ドラフトモデル | K64 DSpark / K5 / 確率的サンプリング |
| コンテキスト長 | 256,000トークン |
| 同時処理数 | 1 |
| 対応ハードウェア | NVIDIA DGX Spark / GB10 1台 |
| 配布サイズ | 101.79 GiB |
| API | OpenAI互換 |
hf download \
Laplace1313/DeepSeek-V4-Flash-0731-JA-REAP-K216-EXL3-3bpw-DGX-Spark \
--local-dir ./DeepSeek-V4-Flash-JA-REAP
102 GiB以上の空き容量を用意してください。ダウンロードには、メインモデル、ドラフトモデル、位置補正アダプター、専用ランタイム、オフライン導入用wheel、checksumが含まれます。
cd DeepSeek-V4-Flash-JA-REAP
docker compose -f runtime/compose.example.yml up -d
初回起動時は、モデルの重み、AOTアーティファクト、CUDAグラフの読み込みに数分かかります。
curl -fsS http://127.0.0.1:8009/health
curl -fsS http://127.0.0.1:8009/v1/models
curl http://127.0.0.1:8009/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{
"model": "deepseek-v4-ja-uncensored-0731",
"messages": [
{"role": "user", "content": "日本語で、分散システムの設計原則を簡潔に説明してください。"}
],
"temperature": 0,
"max_tokens": 512
}'
APIは標準で127.0.0.1:8009を使用します。外部から利用する場合は、認証付きプロキシなどを経由してください。
生成速度は、OpenAI互換SSEの最初のトークン受信後から完了までを次の式で計算しています。
(completion_tokens - 1) / (finished_at - first_content_token_at)
| 処理 | 平均生成速度 | 内容 |
|---|---|---|
| 日本語の自由文 | 30.02 tok/s | 日本語の文章生成 |
| コーディング | 33.51 tok/s | 長めのPython実装 |
| 構造化JSON | 58.31 tok/s | 制約付きJSON生成 |
| 構造化JSON(参考計測) | 54.97 tok/s | 5回すべて有効なJSON、最小52.35 tok/s |
構造化JSONは自由文やコードよりドラフトモデルが予測しやすいため、別の処理として掲載しています。54.97 tok/sは、MiaAI-LabのREADMEを参考に再構成した条件での参考値です。
固定シードで抽出した0-shot評価の結果です。コード生成の評価は、ネットワークを無効にしたリソース制限付きコンテナで実行しています。
| 評価 | 結果 |
|---|---|
| 日本語プロンプト | 50/50 |
| ツール呼び出し | 6/6 |
| MMLU full 5-shot(全57分野・14,042問) | 86.03%(12,081/14,042) |
| MMLU 0-shot(200問) | 85.5%(171/200) |
| ARC-Challenge 0-shot(200問) | 95.0%(190/200) |
| HellaSwag 0-shot(200問) | 70.5%(141/200) |
| GSM8K 0-shot(100問) | 96.0%(96/100) |
| MMLU-ProX 日本語(200問) | 48.5%(97/200) |
| HumanEval pass@1(50問) | 96.0%(48/50) |
| MBPP sanitized pass@1(50問) | 84.0%(42/50) |
MMLU full 5-shotの全条件・カテゴリ別・57分野別結果はvalidation/mmlu-full-5shot-20260827.md、機械可読データはvalidation/mmlu-full-5shot-20260827.jsonに記録しています。その他の評価条件はvalidation/benchmark-summary.jsonを参照してください。
| 構成要素 | サイズ | 用途 |
|---|---|---|
| K216 TP1メインモデル | 98.83 GiB | 推論用モデル |
| K64 DSparkドラフトモデル | 2.94 GiB | 5トークンの投機的生成 |
| 位置補正アダプター | 0.02 GiB | メインモデルとドラフトモデルの補正 |
| ランタイムとメタデータ | 小容量 | 起動、ライセンス、検証情報 |
| 合計 | 101.79 GiB | 配布全体 |
Target: japanese-aware-uncensored-tp1
Target format: K216 REAP, EXL3 3.0 bpw, TP1
Draft: dspark-draft-k64
Speculative depth: K5 probabilistic
Position adapter: rank 16, full vocabulary, scale 1.0, activation none
Draft proposal head: row-wise FP8 enabled
CUDA graph capture: exact size 6
Context: 256,000
Max sequences: 1
GPU memory utilization: 0.945 for MMLU full 5-shot; 0.946 for earlier benchmarks; 0.949 for release cold boot
Runtime image: ghcr.io/0xsero/deepseek-v4-flash-0731-spark-sparkinfer@sha256:2e077489a83a0360952828051fe7f7a32c1801e5ce8436d85f7267583d614ff4
vLLM: 0.15.1+nv26.2
xgrammar: 0.2.4
transformers: 5.13.1
次の構成で検証しています。
標準のvLLM、Transformers pipeline()、SGLang、llama.cpp、GGUFには対応していません。TP2、TP4、1Mコンテキストも未検証です。
RELEASE_MANIFEST.jsonには、マニフェスト自身を除く全ファイルのサイズとSHA-256を記録しています。推論時の重みのマニフェストはrank-sliced-tp1-manifest.json、エキスパート保持マップはREAP_K216_PLAN.jsonです。
K216プランは、MITライセンスで公開されている0xSero/deepseek-v4-flash-0731-sparkを基にしています。
構成要素ごとの対応と著作権表示はLICENSE、LICENSES/README.md、NOTICE.mdに記載しています。
DeepSeek、NVIDIA、0xSero、MiaAI-Lab、vLLM、Cerebras、ExLlamaV3による公式リリースではありません。