cuda-kernels

现代 CUDA 学习笔记，配合 PyTorch，适合初学者，包含 200 多个 CUDA 核心、Tensor Cores、HGEMM、FA-2 MMA。

CUDA 开发者示例，展示 CUDA Toolkit 的功能

LMDeploy 是一套用于压缩、部署与服务 LLM 的工具套件。

完整的 Rust 生态系，提供编写与执行高速 GPU 代码的库与工具。

适用于消费级与异构硬件的 LLM 推测式推理服务器

CUDA 核心计算库

以 Rust 实现的深度学习，具备形状检查的张量与神经网络

围绕 CUDA 工具包的安全 Rust 包装器

一个具备 TypeScript API 与 Rust 后端的机器学习库。兼容 CUDA 与 WebGPU。专为深入理解 ML 框架与模型的内部运作而构建。

cuDNN Frontend 是 NVIDIA 的现代化开源 cuDNN 库入口，并提供日益增加的高性能开源核心集合。

CUDA Kernel 性能评测库

纯 Rust + CUDA LLM 推理引擎 — 无需 PyTorch，兼容 OpenAI，支持 Qwen3 至 Kimi-K2 服务

FlashRT 是一款高性能实时推理引擎，专为小批次、低延迟 AI 工作负载设计。旗舰集成包含 Pi0、Pi0.5、GROOT N1.6 及 Pi0-FAST 的生产级 VLA 控制，并支持如 qwen3.6-27B 等大型语言模型。