inference-engine

✍🏻 Quellcode-Analysen, Systemdesign & Engineering-Blogs | Halfrost-Field: Notizen zu Quellcode-Analyse, Systemdesign und Engineering-Praxis

Ein 2,78-Billionen-Parameter-Modell Kimi K3, das Inferenz auf einer einzigen CPU in 8,24 GB RAM ausführt. Tragbares C99: kein BLAS, kein Framework, keine GPU.

FEDML - Die vereinheitlichte und skalierbare ML-Bibliothek für verteiltes Training im großen Maßstab, Modellbereitstellung und föderiertes Lernen. FEDML Launch, ein Cloud-übergreifender Scheduler, ermöglicht zudem die Ausführung beliebiger KI-Jobs auf jeder GPU-Cloud oder jedem On-Premise-Cluster. Basierend auf dieser Bibliothek ist TensorOpera AI (https://TensorOpera.ai) Ihre generative KI-Plattform im großen Maßstab.

Implementiere Schritt für Schritt eine hochleistungsfähige Deep-Learning-Inferenzbibliothek, die Modelle wie Llama2, Unet, Yolov5, Resnet und andere unterstützt.

Regel-Engine-Implementierung in Golang

OneDiff: Eine sofort einsatzbereite Beschleunigungsbibliothek für Diffusionsmodelle.

Skalierbare LLM-Inferenz-Engine

3x schnellere Geschwindigkeiten auf MLX | Qwen 3.8 27B | Natives MTP Speculative Decoding auf Apple Silicon ohne externen Drafter.

Eine hochleistungsfähige Inferenz-Engine für LLM-, VLM-, DiT- und REC-Modelle, optimiert für verschiedene KI-Beschleuniger. Gehostet von der OpenAtom Foundation.

Qualcomm® AI Hub Models ist unsere Sammlung hochmoderner Modelle für maschinelles Lernen, die auf Leistung (Latenz, Speicher usw.) optimiert und bereit für die Bereitstellung auf Qualcomm®-Geräten sind.

Virtualisierter Elastic KV Cache für dynamisches GPU-Sharing und mehr

Paddle.js ist ein Webprojekt für Baidu PaddlePaddle, ein Open-Source-Deep-Learning-Framework, das im Browser läuft. Paddle.js kann entweder ein vortrainiertes Modell laden oder mit den bereitgestellten Transformations-Tools ein Modell aus Paddle-Hub umwandeln. Es läuft in jedem Browser mit WebGL/WebGPU/WebAssembly-Unterstützung sowie in Baidu Smartprogram und WX-Miniprogrammen.

NobodyWho ist eine Inferenz-Engine, mit der Sie LLMs lokal und effizient auf jedem Gerät ausführen können.

MLX Studio - Heimat von JANG_Q - Bilderzeugung/bearbeitung + Chat/Code Alles in einem - + OpenClaw (Anthropic API)

Eine hochoptimierte LLM-Inferenz-Beschleunigungs-Engine für Llama und dessen Varianten.

Python Computer Vision- & Video-Analytics-Framework mitgeliefert mit allem Drum und Dran

Reines Rust + CUDA LLM-Inferenz-Engine — kein PyTorch, OpenAI-kompatibel, bedient Qwen3 bis Kimi-K2

Bis zu 4-fach schnellere LLM-Dekodierung auf Apple Silicon, verlustfrei. Natives MLX-Port von DeepSeek DSpark & z-lab DFlash speculative decoding – Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, Ornith-1.0, ternary Bonsai-27B.

Yet Another Language Model: LLM-Inferenz in C++/CUDA, ohne externe Bibliotheken außer für I/O.

Eine gemeinsame Basisrepräsentation von Python-Quellcode für pylint und andere Projekte

Ein Projekt für Praktika und Berufseinstieg, das Sie Schritt für Schritt bei der Implementierung eines LLM-Inferenz-Frameworks mit Unterstützung für Llama2/3 und Qwen2.5 anleitet.

Vom Lehrer zu den Kacheln – eine von Grund auf neu entwickelte LLM-Destillations- und Serving-Engine: mit benutzerdefinierten Triton/CUDA-Kernels, FSDP-Destillation, Paged-KV Continuous Batching, spekulativem Decoding, einem Rust-Gateway, einem JAX-Oracle und Tools zur Interpretierbarkeit.

Krasis ist eine hybride LLM-Laufzeitumgebung, die auf den effizienten Betrieb größerer Modelle auf Hardware mit begrenztem VRAM für Endverbraucher spezialisiert ist.

Inferenz-Engine für Intel-Geräte. Bereitstellung von LLMs, VLMs, Whisper, Kokoro-TTS, Embedding- und Rerank-Modellen über OpenAI-Endpunkte.