cuda-kernels

適合初學者的現代 CUDA 學習筆記，搭配 PyTorch，包含 200 多個 CUDA 核心、Tensor Cores、HGEMM、FA-2 MMA。

CUDA 開發者範例，展示 CUDA Toolkit 的功能

LMDeploy 是一套用於壓縮、部署與服務 LLM 的工具組。

完整的 Rust 生態系，提供編寫與執行高速 GPU 代碼的庫與工具。

適用於消費級與異質硬體的 LLM 推測式推論伺服器

CUDA 核心運算函式庫

以 Rust 實作的深度學習，具備形狀檢查的張量與神經網路

圍繞 CUDA 工具包的安全 Rust 包裝器

一個具備 TypeScript API 與 Rust 後端的機器學習函式庫。相容於 CUDA 與 WebGPU。專為深入理解 ML 框架與模型的內部運作而建構。

cuDNN Frontend 是 NVIDIA 的現代化開源 cuDNN 函式庫入口，並提供日益增加的高效能開源核心集合。

CUDA Kernel 效能評測庫

純 Rust + CUDA LLM 推論引擎 — 無需 PyTorch，相容 OpenAI，支援 Qwen3 至 Kimi-K2 服務

FlashRT 是一款高效能即時推論引擎，專為小批次、低延遲 AI 工作負載設計。旗艦整合包含 Pi0、Pi0.5、GROOT N1.6 及 Pi0-FAST 的生產級 VLA 控制，並支援如 qwen3.6-27B 等大型語言模型。