cuda

Plateforme de recherche de benchmark d'inférence continue open source — Kimi K3 2.8T, MiniMax M3, DeepSeekv4, GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72 et bientôt™ TPUv6e/v7/Trainium2/3

Bibliothèque d'opérateurs TT-NN et modèle de programmation de noyau bas niveau TT-Metalium.

Tableau de bord en temps réel pour GPU NVIDIA.

ThunderSVM : Une bibliothèque SVM rapide sur GPU et CPU

Projet de déploiement LLM basé sur MNN. Ce projet a été fusionné dans MNN.

Implémentation de l'effet Ken Burns 3D à partir d'une image unique utilisant PyTorch.

Auto-recherche pour les noyaux GPU. Fournissez n'importe quel modèle PyTorch, allez dormir, et réveillez-vous avec des noyaux Triton optimisés.

UCCL est une bibliothèque de communication efficace pour GPU, couvrant les collectifs, le P2P (ex: transfert de cache KV, transfert de poids RL) et l'EP (ex: piloté par GPU).

Écrivez en Java. Exécutez sur GPU. Rapide.

TensorRT pour YOLOv8, YOLOv8-Pose, YOLOv8-Seg, YOLOv8-Cls, YOLOv7, YOLOv6, YOLOv5, YOLONAS. CUDA est tout ce dont vous avez besoin.

Une bibliothèque de calcul numérique GPU efficace en C++20 avec une syntaxe proche de Python

Auto-hébergez le puissant modèle TTS Chatterbox. Ce serveur propose une interface Web conviviale, des points de terminaison API flexibles (compatibles OpenAI), des voix prédéfinies, le clonage vocal et le traitement de texte à grande échelle pour les livres audio. Fonctionne en mode accéléré sur NVIDIA (CUDA), AMD (ROCm) et CPU.

Programmation CUDA en Julia.

Une bibliothèque de tenseurs rapide, ergonomique et portable en Nim, axée sur le deep learning pour CPU, GPU et appareils embarqués via les backends OpenMP, Cuda et OpenCL

Bibliothèque rapide de chevauchement de communication pour le parallélisme de tenseurs/experts sur GPU.

Dépôt source de LuxCore

https://wavespeed.ai/ Meilleur framework d'optimisation des performances d'inférence pour HuggingFace Diffusers sur les GPU NVIDIA.

stdgpu : structures de données de type STL efficaces sur GPU

GraphVite : un système de plongement de graphes général et haute performance

Wrapper Rust sécurisé pour le toolkit CUDA.

Script de compilation FFmpeg permettant de générer facilement une version statique de FFmpeg sur OSX et Linux, incluant les codecs non libres.

Exemples pour les boîtes à outils Intel® oneAPI.

SGLang-Omni permet un service haute performance pour les modèles TTS, ASR, vocaux et omnimodaux.

Intégration OpenCL pour Python, avec des fonctionnalités avancées.

Le moteur de machine learning pour hackers

Bibliothèque de matrices rapide pour Clojure.

Construisez votre propre moteur d'inférence LLM haute performance en C++ et CUDA - une version allégée de vLLM

Analyse de graphes GPU programmable en CUDA/C++

Robotique avec calcul GPU

Framework de rendu haute performance sur architectures de flux.