cuda

Best Practices und Leitfäden zum Schreiben von verteiltem PyTorch-Trainingscode

Softwarepaket für numerische lineare Algebra

Hochleistungsfähiger, plattformübergreifender Monte-Carlo-Renderer basierend auf LuisaCompute

Optimierung des AlphaFold-Trainings und der Inferenz auf GPU-Clustern

AutoDock für GPUs und andere Beschleuniger

Eine Teilmenge der neuronalen Netzwerkmodule von PyTorch, geschrieben in Python mit OpenAI Triton.

Eine App und Anleitung zur einfachen Konfiguration von Windows, Linux, MacOS, Google TV, Stremio, Home Assistant und mehr (einschließlich WSL2, GPU-Treiber und Entwicklungstools). Zur Verbesserung von UX und Produktivität.

Go mit eigener Intelligenz – Go-Anwendungen, die llama.cpp direkt für lokale Inferenz mittels Hardwarebeschleunigung integrieren.

Yet Another Language Model: LLM-Inferenz in C++/CUDA, ohne externe Bibliotheken außer für I/O.

Einbettung mit minimaler Verzerrung mittels PyTorch

DaCe – Datenzentrierte parallele Programmierung.

NVIDIA NVSHMEM ist eine parallele Programmierschnittstelle für NVIDIA-GPUs basierend auf OpenSHMEM. NVSHMEM reduziert den Kommunikations- und Koordinationsaufwand zwischen Prozessen erheblich, indem es einseitige Kommunikation direkt aus CUDA-Kernels und CUDA-Streams ermöglicht.

Radarsimulator entwickelt mit Python und C++

Eine Single-Header-C++-Bibliothek zur Vereinfachung der CUDA Runtime Compilation (NVRTC).

Ein Projekt für Praktika und Berufseinstieg, das Sie Schritt für Schritt bei der Implementierung eines LLM-Inferenz-Frameworks mit Unterstützung für Llama2/3 und Qwen2.5 anleitet.

Eine offene Sammlung von Methoden zur Unterstützung des erfolgreichen Trainings großer Sprachmodelle.

Verschiedene Optimierungsmethoden für die allgemeine Matrixmultiplikation in halber Genauigkeit (HGEMM) unter Verwendung von Tensor Cores mit WMMA-API und MMA-PTX-Instruktionen.

Vom Lehrer zu den Kacheln – eine von Grund auf neu entwickelte LLM-Destillations- und Serving-Engine: mit benutzerdefinierten Triton/CUDA-Kernels, FSDP-Destillation, Paged-KV Continuous Batching, spekulativem Decoding, einem Rust-Gateway, einem JAX-Oracle und Tools zur Interpretierbarkeit.

FlashRT ist eine leistungsstarke Echtzeit-Inferenz-Engine für KI-Workloads mit kleinen Batches und geringer Latenz. Die Hauptintegration umfasst die VLA-Steuerung für Pi0, Pi0.5, GROOT N1.6 und Pi0-FAST sowie Unterstützung für LLMs wie Qwen3.6-27B.

Statische, minimalistische Single-Batch-Inferenz-Engine für qwen3-0.6B, ausschließlich für CUDA

Praxislabor für LLM-Algorithmen mit Theorie, Lösungen und Testfällen. Ein Tutorial für Large Language Models von den Grundlagen bis zur fortgeschrittenen Praxis, inklusive Prinzipien, Analysen, Testfällen sowie CUDA/Triton-Anwendungen.

Nutzung des VRAM der NVIDIA-GPU als Swap-Speicher unter Linux. Entwickelt für Laptops mit fest verlötetem Arbeitsspeicher ohne Upgrade-Option.

Bildverarbeitungssoftware für die Kryo-Elektronenmikroskopie.

Ein Slurm-Cluster mittels docker-compose.

Das Paket cu bietet eine idiomatische Schnittstelle zur CUDA Driver API.

Eine Neuimplementierung von Holistically-Nested Edge Detection in PyTorch

INSTA - Instant Volumetric Head Avatars [CVPR2023]

Datenvisualisierung und Raytracing in Python basierend auf dem OptiX 9.1 Framework

Docker-Image für Ubuntu Desktop mit Unterstützung für hardwarebeschleunigte GUI-Apps. Der Zugriff auf den Container erfolgt via SSH oder Remote Desktop, ähnlich wie bei einer Cloud-VM.

🚀🚀🚀 Dieses Repository listet herausragende öffentliche Projekte zu CUDA, cuda-python, cuBLAS, cuDNN, CUTLASS, TensorRT, TensorRT-LLM, Triton, TVM, MLIR, PTX und High Performance Computing (HPC).