cuda-kernels

Moderne CUDA-Lernnotizen mit PyTorch für Anfänger, 200+ CUDA-Kernel, Tensor Cores, HGEMM, FA-2 MMA.

Beispiele für CUDA-Entwickler, die Funktionen des CUDA Toolkits demonstrieren

LMDeploy ist ein Toolkit zum Komprimieren, Bereitstellen und Ausführen von LLMs.

Ökosystem aus Bibliotheken und Werkzeugen zum Schreiben und Ausführen von schnellem GPU-Code vollständig in Rust.

LLM-Inferenzserver für spekulatives Sampling auf Consumer- und heterogener Hardware

CUDA Core Compute Libraries

Deep Learning in Rust mit formgeprüften Tensoren und neuronalen Netzen

Sicherer Rust-Wrapper für das CUDA-Toolkit

Eine Machine-Learning-Bibliothek mit TypeScript-API und Rust-Backend. Kompatibel mit CUDA und WebGPU. Entwickelt, um zu verstehen, wie ML-Frameworks und -Modelle intern funktionieren.

Das cuDNN Frontend ist NVIDIAs moderner Open-Source-Einstiegspunkt in die cuDNN-Bibliothek und eine wachsende Sammlung von Hochleistungs-Open-Source-Kerneln.

CUDA-Kernel-Benchmarking-Bibliothek

Reines Rust + CUDA LLM-Inferenz-Engine — kein PyTorch, OpenAI-kompatibel, bedient Qwen3 bis Kimi-K2

FlashRT ist eine leistungsstarke Echtzeit-Inferenz-Engine für KI-Workloads mit kleinen Batches und geringer Latenz. Die Hauptintegration umfasst die VLA-Steuerung für Pi0, Pi0.5, GROOT N1.6 und Pi0-FAST sowie Unterstützung für LLMs wie Qwen3.6-27B.