Zum Hauptinhalt springen
buildradar
Sign in

jundot/omlx

@jundot

LLM-Inference-Server mit kontinuierlichem Batching & SSD-Caching für Apple Silicon — verwaltbar über die macOS-Menüleiste

Sterne
21.333
Forks
1.812
Sprache
Python
Lizenz
Apache-2.0
Letzter Push
vor 5 Tagen
Pythonmacosllmopenai-apiapple-siliconmlxinference-server

Noch keine verwandte Intel

Dieses Repo ist noch in keiner der vom Radar verfolgten Quellen aufgetaucht. Der Collector läuft nach Zeitplan — schau wieder vorbei, sobald er dieses Repo abdeckt.