ggml

LLM-Inferenz in C/C++

Inferenz von Diffusionsmodellen (SD, Flux, Wan, Qwen Image, Z-Image, ...) in reinem C/C++

Eine All-in-One-Inferenz-Engine in reinem C++ für Audiomodelle, angetrieben von ggml. Unterstützt TTS, STT, VAD, Sprachkonvertierung, Musikgenerierung und mehr bei hochoptimierter Leistung. Keine Python-Abhängigkeit.

Llama und andere große Sprachmodelle (LLMs) offline unter iOS und macOS mit der GGML-Bibliothek nutzen.

ggml Speech-to-Text Inferenz für über 16 Modellfamilien

Go-Tool zur Verwaltung Ihrer Ollama-Modelle

INT4/INT5/INT8- und FP16-Inferenz auf der CPU für das RWKV-Sprachmodell

Berechnet Token/s und GPU-Speicherbedarf für beliebige LLMs. Unterstützt llama.cpp/ggml/bnb/QLoRA-Quantisierung.

Dieses custom_node für ComfyUI fügt Ein-Klick-"Virtual VRAM" für jeden UNet- und CLIP-Loader sowie eine MultiGPU-Integration in WanVideoWrapper hinzu. Es verwaltet das Auslagern (Offload/Block Swap) von Layern in den DRAM oder VRAM, um den latenten Raum Ihrer Grafikkarte zu maximieren. Enthält auch Nodes zum direkten Laden kompletter Komponenten (UNet, CLIP, VAE) auf das Gerät Ihrer Wahl.

Ausführung beliebiger GGUF SLMs/LLMs lokal auf dem Android-Gerät

Das Bark-Modell von Suno AI in C/C++ für eine schnelle Text-to-Speech-Generierung

Echtzeit-3D-Ganzkörperrekonstruktion von einer einzelnen Kamera, Mehrpersonen-BVH-Ausgabe, reine C++-Laufzeit, ONNX + ggml, 70-Gelenk-Skelett mit Händen.

Selbstevaluierungs-Interview für KI-Programmierer.

C++ ggml Runtime-Hub für mehrsprachige ASR- und TTS-Modelle: Cohere Transcribe, Parakeet TDT, Voxtral, Canary 1B v2 sowie universelles Forced Alignment und mehr.

CLIP-Inferenz in reinem C/C++ ohne zusätzliche Abhängigkeiten