cuda

完整的 Rust 生態系，提供編寫與執行高速 GPU 代碼的庫與工具。

NVIDIA cuML：GPU 加速的機器學習庫

加速 3D 深度學習研究的 PyTorch 函式庫。

為多 GPU 通訊優化的原語，支援集合運算。

ArrayFire：通用 GPU 函式庫。

Transformer 模型的快速推理引擎

Tengine 是一個輕量、高效、模組化的推理引擎，適用於嵌入式裝置

Lightning fast C++/CUDA 神經網路框架。

HIP：C++ Heterogeneous‑Compute Interface for Portability

可重定向的 MLIR 基礎機器學習編譯器與執行時工具包

[ICLR2025, ICML2025, NeurIPS2025 Spotlight] Quantized Attention 在速度上比 FlashAttention 提升 2-5 倍，且不損失語言、影像與影片模型的端到端指標

從單一原生應用程式訓練、檢查、編輯、自動化並匯出 3D 高斯噴射場景。

A library for accelerating Transformer models on NVIDIA GPUs, including using 8-bit and 4-bit floating point (FP8 and FP4) precision on Hopper, Ada and Blackwell GPUs, to provide better performance with lower memory utilization in both training and inference.

自託管、僅本地 NVR 和 AI 計算機視覺軟件。具備物體檢測、運動檢測、人臉識別等功能，讓你能夠監控家中、辦公室或任何你想監控的地方。

LYGIA 是一個細粒度且支援多種語言（GLSL、HLSL、Metal、WGSL、WEGL 和 CUDA）的著色器函式庫，專為效能與靈活性而設計

單一 C 檔，實時 CPU/GPU 分析器，帶遠端 Web 觀察器

如何在 CUDA 中優化某些演算法。

Jittor 是一個基於 JIT 編譯和元運算符的高性能深度學習框架

開源神經網路棋類引擎，支援GPU加速與廣泛硬體

適用於 NVIDIA 產品的 Agent Skills — 可安裝至 Claude Code、Codex 及其他編碼 Agent，以端到端運行物理 AI、機器人、模擬、CUDA 和 RAG 工作流。

cuda-oxide 是一個實驗性的 Rust 到 CUDA 編譯器，讓您能以安全且道地的 Rust 撰寫 (SIMT) GPU 核心。它直接將標準 Rust 程式碼編譯為 PTX — 無需 DSL，無需外部語言繫結，純粹是 Rust。

GPU 加速的即時分析儲存與查詢引擎。

HeavyDB（前身為 MapD/OmniSciDB）

RamaLama 是一款開源開發者工具，透過大眾熟悉的容器語言，簡化從任何來源在本地端提供 AI 模型的流程，並促進其在生產環境中的推論應用。

使用 TensorRT 為 NVIDIA GPU 編譯 PyTorch/TorchScript/FX 的編譯器

PyTorch 原生量化，用于训练和推理

Minkowski Engine 是一個用於高維稀疏張量的自動微分神經網路函式庫

NVIDIA GPU Operator 用於在 Kubernetes 中建立、設定與管理 GPU

適用於消費級與異質硬體的 LLM 推測式推論伺服器

一個資料平行的函數式程式語言