inference

Ein hocheffizientes und speichereffizientes Inferenz- und Serving-Engine für LLMs

Ultralytics YOLOv5 in PyTorch für Objekterkennung, Instanzsegmentierung, Klassifizierung, Training und Export.

Port des Whisper-Modells von OpenAI in C/C++

DeepSpeed ist eine Deep-Learning-Optimierungsbibliothek, die verteilte Training und Inferenz einfach, effizient und effektiv macht.

Große AI-Modelle günstiger, schneller und zugänglicher machen

Plattformunabhängige, anpassbare ML-Lösungen für Live- und Streaming-Media.

SGLang ist ein hochleistungsfähiges Serving‑Framework für große Sprach‑ und multimodale Modelle.

Schnellere Whisper-Transkription mit CTranslate2

ncnn ist ein für mobile Plattformen optimiertes, leistungsstarkes Inferenz-Framework für neuronale Netze

Machine Learning Engineering Open Book

Nano vLLM

🎨 Die umfassende Pattern-Matching-Bibliothek für TypeScript mit intelligenter Typinferenz.

NVIDIA® TensorRT™ ist ein SDK für die Hochleistungs-Inferenz von Deep Learning auf NVIDIA-GPUs. Dieses Repository enthält die Open-Source-Komponenten von TensorRT.

LMCache: Beschleunigen Sie Ihr LLM mit der schnellsten KV-Cache-Schicht

Beispiel-Jupyter-Notebooks zur Demonstration des Erstellens, Trainierens und Deployens von Machine-Learning-Modellen mit Amazon SageMaker.

Der Triton Inference Server bietet eine optimierte Inferenzlösung für Cloud und Edge.

OpenVINO™ ist ein Open-Source-Toolkit zur Optimierung und Bereitstellung von KI-Inferenz

PyTorch-Implementierung von YOLOv3, YOLOv3-SPP und YOLOv3-tiny für die Echtzeit-Objekterkennung mit Training, Validierung, Inferenz und Multiformat-Export.

FreeToken brings datacenter-scale model serving to your desktop. Run massive models locally, fast and efficiently.

Produktionsbereites Toolkit zum lokalen Ausführen von KI

Ersetzen Sie GPT durch ein beliebiges LLM, indem Sie nur eine einzige Codezeile ändern. Mit Xinference können Sie Open-Source-, Sprach- und multimodale Modelle in der Cloud, on-premise oder auf Ihrem Laptop ausführen – alles über eine einheitliche, produktionsbereite Inferenz-API.

Einfaches Fine-Tuning, Evaluierung und Deployment von Qwen, Gemma oder anderen Open-Weight-LLMs!

Hello AI World: Leitfaden zur Bereitstellung von Deep-Learning-Inferenznetzwerken und Deep-Vision-Primitiven mit TensorRT und NVIDIA Jetson.

Laufzeit-Typsystem für IO-Dekodierung und -Kodierung

Ein Framework für effiziente Modellinferenz mit Omnimodalitätsmodellen

Mooncake ist die Serving-Plattform für Kimi, einen führenden LLM-Dienst von Moonshot AI.

On-Device-Sprach-KI für Apple Silicon

Adversarial Robustness Toolbox (ART) – Python-Bibliothek für Machine-Learning-Sicherheit – Evasion, Poisoning, Extraction, Inference – Red und Blue Teams

Ein GPU-Cluster-Manager für hochleistungsfähiges KI-Modell-Serving (vLLM, SGLang) und bedarfsgesteuerte GPU-Instanzen mit SSH-Zugang.

Ein programmierbarer Mixture-of-Models-Router für heterogene LLM-Inferenz