cuda

開源持續推論基準研究平台 — Kimi K3 2.8T、MiniMax M3、DeepSeekv4、GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72 ＆ 即將推出™ TPUv6e/v7/Trainium2/3

:metal: TT-NN 運算子函式庫，以及 TT-Metalium 底層核心程式設計模型。

🔥 即時 NVIDIA GPU 儀表板

ThunderSVM：基於 GPU 與 CPU 的快速 SVM 函式庫

基於 MNN 的 llm 部署專案。此專案已合併至 MNN。

從單一影像實現 3D Ken Burns 效果的 PyTorch 實作

GPU 核心自動研究。給它任何 PyTorch 模型，睡個覺，醒來就能獲得最佳化的 Triton 核心。

UCCL 是一個高效的 GPU 通訊函式庫，涵蓋集合通訊、P2P（例如 KV 快取傳輸、RL 權重傳輸）以及 EP（例如 GPU 驅動）

編寫 Java。在 GPU 上執行。高效能。

🔥🔥🔥 適用於 YOLOv8、YOLOv8-Pose、YOLOv8-Seg、YOLOv8-Cls、YOLOv7、YOLOv6、YOLOv5、YOLONAS......的 TensorRT 🚀🚀🚀 CUDA IS ALL YOU NEED. 🍎🍎🍎

具備類似 Python 語法的有效率 C++20 GPU 數值計算庫

自架強大的 Chatterbox TTS 模型。此伺服器提供使用者友善的 Web UI、靈活的 API 端點（包含相容 OpenAI）、預定義語音、語音複製，以及大型有聲書規模的文字處理。可在 NVIDIA (CUDA)、AMD (ROCm) 和 CPU 上加速執行。

在 Julia 中進行 CUDA 程式設計。

一個在 Nim 中快速、符合人體工學且可攜的張量庫，透過 OpenMP、Cuda 和 OpenCL 後端專注於 CPU、GPU 和嵌入式裝置的深度學習

一個用於 GPU 上張量/專家平行運算的快速通訊重疊函式庫。

LuxCore 原始碼儲存庫

https://wavespeed.ai/ 用於 NVIDIA GPU 上 HuggingFace Diffusers 的最佳推論效能最佳化框架。

stdgpu：在 GPU 上提供高效能的 STL 風格資料結構

GraphVite：一個通用且高效能的圖嵌入系統

圍繞 CUDA 工具包的安全 Rust 包裝器

FFmpeg 建置指令碼提供了一個簡單的方法，在 OSX 和 Linux 上建置包含非自由編碼解碼器的靜態 FFmpeg。

Intel® oneAPI Toolkits 的範例程式碼

SGLang-Omni 為 TTS、ASR、語音與全能模型提供高效能服務。

Python 的 OpenCL 整合，具備亮眼功能。

駭客的機器學習引擎

快速的 Clojure 矩陣庫

使用 C++ 與 CUDA 建構你自己的高效能 LLM 推理引擎 - vLLM 的精簡版

可程式化的 CUDA/C++ GPU 圖形分析

結合 GPU 運算的機器人學

串流架構上的高效能渲染框架