rocm

Burn ist eine Tensor-Bibliothek und ein Deep-Learning-Framework der nächsten Generation, das keine Kompromisse bei Flexibilität, Effizienz und Portabilität eingeht.

Open-Source-Compiler-Framework für maschinelles Lernen

NumPy & SciPy für die GPU

LMCache: Beschleunigen Sie Ihr LLM mit der schnellsten KV-Cache-Schicht

Ein GPU-Cluster-Manager für hochleistungsfähiges KI-Modell-Serving (vLLM, SGLang) und bedarfsgesteuerte GPU-Instanzen mit SSH-Zugang.

Lemonade hilft Benutzern dabei, lokale KI-Apps zu entdecken und auszuführen, indem optimierte LLMs direkt von ihren eigenen GPUs und NPUs bereitgestellt werden. Treten Sie unserem Discord bei: https://discord.gg/5xXzkMu8Zk

Eine Fast-Echtzeit-Implementierung von OpenAI Whisper.

Ein zielplattformunabhängiger, MLIR-basierter Compiler- und Laufzeit-Toolkit für maschinelles Lernen.

LLM-Inferenzserver für spekulatives Sampling auf Consumer- und heterogener Hardware

Ein Deep-Learning-Paket zur Darstellung von Vielteilchen-Potenzialenergien und für die Molekulardynamik

Skalierbare LLM-Inferenz-Engine

Open-Source-Forschungsplattform für kontinuierliche Inferenz-Benchmarks — Kimi K3 2.8T, MiniMax M3, DeepSeekv4, GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72 & bald™ TPUv6e/v7/Trainium2/3

Hosten Sie das leistungsstarke Chatterbox TTS-Modell selbst. Dieser Server bietet eine benutzerfreundliche Web-UI, flexible API-Endpunkte (inkl. OpenAI-Kompatibilität), vordefinierte Stimmen, Klonen von Stimmen und Textverarbeitung im Umfang großer Hörbücher. Läuft beschleunigt auf NVIDIA (CUDA), AMD (ROCm) und CPU.

stdgpu: Effiziente STL-ähnliche Datenstrukturen auf der GPU

UniLab: Eine heterogene Architektur für Roboter-RL jenseits von GPU-dominierten Paradigmen

RDNA-native LLM-Inferenz-Engine in Rust.

Go mit eigener Intelligenz – Go-Anwendungen, die llama.cpp direkt für lokale Inferenz mittels Hardwarebeschleunigung integrieren.

Dockerfiles für die verschiedenen Software-Layer der ROCm-Plattform