inference

Verwaltet den einheitlichen Zugriff auf generative KI-Dienste, basierend auf Envoy Gateway

Ausführen eines LLMs mit 1 Milliarde Parametern auf einem 10-Dollar-Board mit 256 MB RAM

Das Inferenzmodul für AgiBot X1.

Beschleunigungspaket für neuronale Netze auf Mehrkern-CPUs

Effizienter, skalierbarer und unternehmenstauglicher CPU/GPU-Inferenzserver für 🤗 Hugging Face Transformer-Modelle 🚀

Eine Hochleistungs-Inferenz-Engine für KI-Modelle

Open-Source-Forschungsplattform für kontinuierliche Inferenz-Benchmarks — Kimi K3 2.8T, MiniMax M3, DeepSeekv4, GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72 & bald™ TPUv6e/v7/Trainium2/3

Leiten, verwalten und analysieren Sie Ihre LLM-Anfragen über verschiedene Anbieter hinweg mit einer einheitlichen API-Schnittstelle.

Eine hochleistungsfähige Inferenz-Engine für LLM-, VLM-, DiT- und REC-Modelle, optimiert für verschiedene KI-Beschleuniger. Gehostet von der OpenAtom Foundation.

Eine schnelle und benutzerfreundliche Laufzeitumgebung für Transformer-Inferenz (Bert, Albert, GPT2, Decoders usw.) auf CPU und GPU.

Nvidia GPU Exporter für Prometheus mit nvidia-smi-Binary oder NVML

Bereitstellung eines ML-Inferenzdienstes mit geringem Budget in weniger als 10 Zeilen Code.

RTP-LLM: Alibabas leistungsstarke LLM-Inferenz-Engine für vielfältige Anwendungen.

Leistungsstarke, modulare, speichersichere und produktionsbereite Inferenz, Ingestion und Indizierung, entwickelt in Rust 🦀

Paket für kausale Inferenz in Graphen und paarweisen Einstellungen. Tools zur Wiederherstellung der Graphenstruktur und für Abhängigkeiten sind enthalten.

KI-Workloads in Python magisch auf Kubernetes verteilen und ausführen, wie PyTorch für ML-Infra.

LLM-KV-Cache-Kompprimierung leicht gemacht

Qualcomm® AI Hub Models ist unsere Sammlung hochmoderner Modelle für maschinelles Lernen, die auf Leistung (Latenz, Speicher usw.) optimiert und bereit für die Bereitstellung auf Qualcomm®-Geräten sind.

Nativer LLM-Inferenzserver für Apple Silicon. Kompatibel mit der OpenAI- und Anthropic-API. Kein Python. Inklusive MLX Core macOS-App mit Chat, Agentenmodus und Tool-Aufrufen.

SGLang-Omni ermöglicht hochleistungsfähiges Serving für TTS-, ASR-, Sprach- und Omni-Modelle.

Baue deine eigene performante LLM-Inferenz-Engine in C++ und CUDA – eine kleinere Version von vLLM

Ein durchsatzorientiertes Hochleistungs-Serving-Framework für LLMs

MLX Studio - Heimat von JANG_Q - Bilderzeugung/bearbeitung + Chat/Code Alles in einem - + OpenClaw (Anthropic API)

Bolt ist eine Deep-Learning-Bibliothek mit hoher Leistung und heterogener Flexibilität.

📚 Einführung in die moderne Statistik – Ein Open-Source-Lehrbuch auf Universitätsniveau mit einem modernen Ansatz, der multivariable Beziehungen und simulationsbasierte Inferenz hervorhebt.

Eine einheitliche Schnittstelle zum Ausführen von Deep-Learning-Modellen aus mehreren Frameworks

Skalierbarer Inferenz-Server für mit OpenVINO™ optimierte Modelle.

Das Bark-Modell von Suno AI in C/C++ für eine schnelle Text-to-Speech-Generierung

Ein Open-Source-Framework für Computer Vision zur schnellen Erstellung und Bereitstellung von Anwendungen.

PyTriton ist eine Flask/FastAPI-ähnliche Schnittstelle, die die Bereitstellung von Triton in Python-Umgebungen vereinfacht.