cuda

:metal: TT-NN 算子库，以及 TT-Metalium 底层内核编程模型。

🔥 实时 NVIDIA GPU 仪表板

ThunderSVM：基于 GPU 与 CPU 的快速 SVM 库

基于 MNN 的 llm 部署项目。此项目已合并至 MNN。

开源持续推理基准研究平台 — Kimi K3 2.8T、MiniMax M3、DeepSeekv4、GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72 ＆ 即将推出™ TPUv6e/v7/Trainium2/3

从单一影像实现 3D Ken Burns 效果的 PyTorch 实现

GPU 内核自动研究。给它任何 PyTorch 模型，睡个觉，醒来就能获得优化的 Triton 内核。

UCCL 是一个高效的 GPU 通信库，涵盖集合通信、P2P（例如 KV 缓存传输、RL 权重传输）以及 EP（例如 GPU 驱动）

编写 Java。在 GPU 上运行。高性能。

🔥🔥🔥 适用于 YOLOv8、YOLOv8-Pose、YOLOv8-Seg、YOLOv8-Cls、YOLOv7、YOLOv6、YOLOv5、YOLONAS......的 TensorRT 🚀🚀🚀 CUDA IS ALL YOU NEED. 🍎🍎🍎

具备类似 Python 语法的高效 C++20 GPU 数值计算库

自架强大的 Chatterbox TTS 模型。此服务器提供用户友好的 Web UI、灵活的 API 端点（包含兼容 OpenAI）、预定义语音、语音克隆，以及大型有声书规模的文本处理。可在 NVIDIA (CUDA)、AMD (ROCm) 和 CPU 上加速运行。

在 Julia 中进行 CUDA 编程。

一个在 Nim 中快速、符合人体工程学且可移植的张量库，通过 OpenMP、Cuda 和 OpenCL 后端专注于 CPU、GPU 和嵌入式设备的深度学习

一个用于 GPU 上张量/专家并行运算的快速通信重叠库。

LuxCore 源代码仓库

https://wavespeed.ai/ 用于 NVIDIA GPU 上 HuggingFace Diffusers 的最佳推理性能优化框架。

stdgpu：在 GPU 上提供高效能的 STL 风格数据结构

GraphVite：一个通用且高性能的图嵌入系统

FFmpeg 构建脚本提供了一个简单的方法，在 OSX 和 Linux 上构建包含非自由编解码器的静态 FFmpeg。

围绕 CUDA 工具包的安全 Rust 包装器

Intel® oneAPI Toolkits 的示例代码

Python 的 OpenCL 集成，具备亮眼功能。

骇客的机器学习引擎

快速的 Clojure 矩阵库

SGLang-Omni 为 TTS、ASR、语音与全能模型提供高性能服务。

使用 C++ 与 CUDA 构建你自己的高性能 LLM 推理引擎 - vLLM 的精简版

可程式化的 CUDA/C++ GPU 图形分析

结合 GPU 计算的机器人学

流式架构上的高性能渲染框架