madroidmaq/mlx-omni-server
@madroidmaqMLX Omni Server ist ein lokaler Inferenz-Server, der auf Apples MLX-Framework basiert und speziell für Apple Silicon (M-Series) Chips entwickelt wurde. Er implementiert OpenAI-kompatible API-Endpunkte und ermöglicht so eine nahtlose Integration mit bestehenden OpenAI SDK Clients, während er die Leistung der lokalen ML-Inferenz nutzt.
Sterne
742
Forks
90
Sprache
Python
Lizenz
MIT
Letzter Push
vor 4 Monaten
Verwandte Intel (0)
Noch keine verwandte Intel
Dieses Repo ist noch in keiner der vom Radar verfolgten Quellen aufgetaucht. Der Collector läuft nach Zeitplan — schau wieder vorbei, sobald er dieses Repo abdeckt.