cuda

高吞吐量且内存效率高的 LLM 推理与服务引擎

开源 AI 语音工作室，支持克隆、口述和创作

SGLang 是针对大型语言模型与多模态模型的高性能服务框架

全球最快、最先进的密码恢复工具

即时神经图形原语：极速 NeRF 及更多

Burn is a next generation tensor library and Deep Learning Framework that doesn't compromise on flexibility, efficiency and portability.

kaldi-asr/kaldi 是 Kaldi 项目的官方位置。

非 NVIDIA GPU 上的 CUDA

TensorRT LLM 为用户提供易用的 Python API 来定义大型语言模型（LLM），并支持最先进的优化，以在 NVIDIA GPU 上高效执行推理。TensorRT LLM 还包含创建 Python 和 C++ 运行时的组件，以高性能方式编排推理执行。

Open3D：用于 3D 数据处理的现代库

解谜并学习 CUDA

NumPy 与 SciPy 的 GPU 版本

VoiceStudio 是开源、完全本地化的 ElevenLabs 替代方案——支持 646 种语言的语音克隆、语音设计、视频配音、口述、转录与有声书制作。

现代 CUDA 学习笔记，配合 PyTorch，适合初学者，包含 200 多个 CUDA 核心、Tensor Cores、HGEMM、FA-2 MMA。

LMCache：以最快的 KV 缓存层为 LLM 提供加速

支持 NumPy 的 LLVM 动态 Python 编译器

用于高性能线性代数的 CUDA 模板与 Python DSL

cuDF - GPU 数据框架库

CUDA 开发者示例，展示 CUDA Toolkit 的功能

机器学习的容器化方案

OneFlow 是一个设计为用户友好、可扩展且高效的深度学习框架

一个快速、可扩展、高性能的梯度提升决策树库，支持排序、分类、回归及其他机器学习任务，适用于 Python、R、Java、C++，支持 CPU 与 GPU 计算。

使用 GPU 加速的模块化 ZK（零知识）后端

使用 OpenCV 4 及以上版本的 Go 包，支持计算机视觉。包括 DNN、CUDA、OpenCV Contrib 与 OpenVINO。

交互式 NVIDIA GPU 进程查看器及更多，一站式 GPU 进程管理解决方案

用于 GPU 加速仿真、机器人和机器学习的 Python 框架

FlashInfer：大型语言模型服务的内核库

让使用着色器更简单。

一个 GPU 集群管理器，用于高效能 AI 模型服务（vLLM、SGLang）以及按需可 SSH 访问的 GPU 实例。

ALIEN 是一个 CUDA 驱动的人工生命模拟程序。