cuda

完整的 Rust 生态系，提供编写与执行高速 GPU 代码的库与工具。

NVIDIA cuML：GPU 加速的机器学习库

加速 3D 深度学习研究的 PyTorch 库。

为多 GPU 通讯优化的原语，支持集合运算。

ArrayFire：通用 GPU 函式库。

Transformer 模型的快速推理引擎

Tengine 是一个轻量、高效、模块化的推理引擎，适用于嵌入式装置

Lightning fast C++/CUDA 神经网络框架。

HIP：C++ Heterogeneous‑Compute Interface for Portability

可重定向的 MLIR 基础机器学习编译器与运行时工具包

[ICLR2025, ICML2025, NeurIPS2025 Spotlight] Quantized Attention 在速度上比 FlashAttention 提升 2-5 倍，且不损失语言、影像与影片模型的端到端指标

从单一原生应用程序训练、检查、编辑、自动化并导出 3D 高斯喷射场景。

A library for accelerating Transformer models on NVIDIA GPUs, including using 8-bit and 4-bit floating point (FP8 and FP4) precision on Hopper, Ada and Blackwell GPUs, to provide better performance with lower memory utilization in both training and inference.

自托管、仅本地 NVR 和 AI 计算机视觉软件。具备物体检测、运动检测、人脸识别等功能，让你能够监控家中、办公室或任何你想监控的地方。

LYGIA 是一个细粒度且支持多种语言（GLSL、HLSL、Metal、WGSL、WEGL 和 CUDA）的着色器库，专为性能与灵活性而设计

单一 C 文件，实时 CPU/GPU 分析器，带远程 Web 观察器

如何在 CUDA 中优化某些算法。

Jittor 是一个基于 JIT 编译和元运算符的高性能深度学习框架

开源神经网络棋类引擎，支持GPU加速与广泛硬件

适用于 NVIDIA 产品的 Agent Skills — 可安装至 Claude Code、Codex 及其他编码 Agent，以端到端运行物理 AI、机器人、模拟、CUDA 和 RAG 工作流。

cuda-oxide 是一个实验性的 Rust 到 CUDA 编译器，让您能以安全且地道的 Rust 编写 (SIMT) GPU 内核。它直接将标准 Rust 代码编译为 PTX — 无需 DSL，无需外部语言绑定，纯粹是 Rust。

GPU 加速的实时分析存储与查询引擎。

HeavyDB（前身为 MapD/OmniSciDB）

RamaLama 是一款开源开发者工具，通过大家熟悉的容器语言，简化了从任何来源在本地提供 AI 模型的流程，并促进其在生产环境中的推理应用。

使用 TensorRT 为 NVIDIA GPU 编译 PyTorch/TorchScript/FX 的编译器

PyTorch 原生量化，用于训练和推理

Minkowski Engine 是一个用于高维稀疏张量的自动微分神经网络库

NVIDIA GPU Operator 用于在 Kubernetes 中创建、配置与管理 GPU

适用于消费级与异构硬件的 LLM 推测式推理服务器

一个数据平行的函数式编程语言