inference-server
Erfasste Open-Source-Repos mit dem Tag inference-server, sortiert nach Sternen.
Verwandte Themen
Themen, die häufig gemeinsam mit inference-server am selben Repo auftauchen.
Neue Aufsteiger
Repos, die in den letzten 90 Tagen erstellt und mit inference-server getaggt wurden.
In den letzten 90 Tagen kam kein neues Repo mit diesem Thema dazu.
- #1
LLM-Inference-Server mit kontinuierlichem Batching & SSD-Caching für Apple Silicon — verwaltbar über die macOS-Menüleiste
★ 21.333+380Sterne-Änderung der letzten 7 Tage - #2
⚡ Rein in Rust geschriebene WebGPU-Inferenz-Engine — OpenAI-API-kompatibel, GGUF-nativ, läuft auf jeder GPU. Kein Python. Kein llama.cpp. Einzelne Binärdatei.
★ 5.816+6Sterne-Änderung der letzten 7 Tage - #3
RamaLama ist ein Open-Source-Entwicklertool, das die lokale Bereitstellung von KI-Modellen aus beliebigen Quellen vereinfacht und ihre Nutzung für die Inferenz in der Produktion über die vertraute Sprache von Containern erleichtert.
★ 3.031+6Sterne-Änderung der letzten 7 Tage - #4
Open-Source-Inferenzserver und Produktionscluster für alle Modelle, die Ihr Agent benötigt.
★ 3.030+173Sterne-Änderung der letzten 7 Tage - #5
Verwandeln Sie jeden Computer oder Edge-Device in ein Kommandozentrum für Ihre Computer-Vision-Projekte.
★ 2.431+2Sterne-Änderung der letzten 7 Tage - #6
Leistungsstarker, mit OpenAI und Anthropic kompatibler LLM-Inferenzserver für Apple Silicon. Nativer MLX, Continuous Batching, multimodale Modelle, MCP-Tool-Aufrufe und Claude-Code-Unterstützung.
★ 1.557+6Sterne-Änderung der letzten 7 Tage - #7★ 1.199+3Sterne-Änderung der letzten 7 Tage
- #8★ 1.055+16Sterne-Änderung der letzten 7 Tage
- #9
Ein Open-Source-Framework für Computer Vision zur schnellen Erstellung und Bereitstellung von Anwendungen.
★ 852+0Sterne-Änderung der letzten 7 Tage
