onnxruntime-gpu-aarch64-cuda13-sm121

onnxruntime-gpu for aarch64 + CUDA 13 + SM121 (DGX Spark / Jetson Thor)

針對 NVIDIA DGX Spark (GB10 Blackwell) 和 Jetson Thor 預先編譯的 onnxruntime-gpu wheel — 目前公開可取得的第一個適用於此平台的版本。

Pre-built onnxruntime-gpu wheel for NVIDIA DGX Spark (GB10 Blackwell) and Jetson Thor — the first publicly available wheel for this platform.

為什麼需要這個 / Why This Exists

截至 2026 年 3 月，官方 PyPI 沒有 aarch64 + CUDA 13 的 onnxruntime-gpu wheel，只提供 x86_64 版本。這個 wheel 是專門為 NVIDIA GB10 (SM121) Blackwell 架構從源碼編譯的。

As of March 2026, there is no official onnxruntime-gpu wheel for aarch64 + CUDA 13 on PyPI (x86_64 only). This wheel was compiled from source specifically for the NVIDIA GB10 (SM121) Blackwell architecture.

規格 / Specifications

安裝方式 / Installation

pip install https://huggingface.co/Jay0515/onnxruntime-gpu-aarch64-cuda13-sm121/resolve/main/onnxruntime_gpu-1.25.0-cp312-cp312-linux_aarch64.whl

cuDNN 需求 / cuDNN Requirement

系統需要有 cuDNN 9.x。如果沒有系統級安裝，可以用 pip：

pip install nvidia-cudnn-cu12
export LD_LIBRARY_PATH=$(python -c "import nvidia.cudnn; print(nvidia.cudnn.__path__[0])")/lib:$LD_LIBRARY_PATH

驗證 / Verify

import onnxruntime
print(onnxruntime.get_available_providers())
# 預期輸出 / Expected: ['CUDAExecutionProvider', 'CPUExecutionProvider']

編譯環境 / Build Environment

在 NVIDIA 官方 PyTorch 容器內編譯（vllm-node，基於 nvcr.io/nvidia/pytorch:26.01-py3）：

• CUDA 13.1, cuDNN 9.17.1, Python 3.12
• 所有 CUDA headers 和 libraries 已預裝

編譯指令 / Build Command

git clone --recursive --depth 1 https://github.com/microsoft/onnxruntime
cd onnxruntime

export CMAKE_BUILD_PARALLEL_LEVEL=4  # 限制並行數，避免 OOM

./build.sh \
  --config Release \
  --build_shared_lib \
  --parallel 4 \
  --use_cuda \
  --cuda_home /usr/local/cuda \
  --cudnn_home /usr \
  --cmake_extra_defines CMAKE_CUDA_ARCHITECTURES=121 \
  --build_wheel \
  --skip_tests \
  --allow_running_as_root

重要注意事項 / Important Notes

• 務必使用 --parallel 4（不要用 nproc）。CUDA kernel 編譯（尤其是 flash attention）會消耗超過 50GB RAM，在 128GB 統一記憶體的系統上使用全部核心會導致 OOM 凍結。
• 在 Docker 容器內編譯需加 --allow_running_as_root。
• CMAKE_CUDA_ARCHITECTURES=121 是支援 SM121 Blackwell 的關鍵參數。
• 編譯時間：GB10 上使用 4 個並行 job 約 45 分鐘。

測試硬體 / Tested Hardware

• ASUS Ascent GX10 (NVIDIA GB10, 128GB LPDDR5x, aarch64)
• NVIDIA Driver 580.126.09, CUDA 13.0

應用案例：Fun-ASR-Nano-GGUF + CUDA Encoder

這個 wheel 的誕生是為了加速 CapsWriter-Offline 的 Fun-ASR-Nano-GGUF 管線中的 ONNX encoder，在 DGX Spark 上實現 GPU 加速：

This wheel was built to accelerate the ONNX encoder in CapsWriter-Offline's Fun-ASR-Nano-GGUF pipeline on DGX Spark:

參考資料 / References

• DGX Spark 編譯指南 / Build instructions
• CapsWriter-Offline
• onnxruntime GitHub Issue #27098: Jetson Thor CUDA 13
• onnxruntime GitHub Issue #27005: aarch64 GPU support

授權 / License

ONNX Runtime 採用 MIT License 授權。