madroidmaq

MLX Omni Server ist ein lokaler Inferenz-Server, der auf Apples MLX-Framework basiert und speziell für Apple Silicon (M-Series) Chips entwickelt wurde. Er implementiert OpenAI-kompatible API-Endpunkte und ermöglicht so eine nahtlose Integration mit bestehenden OpenAI SDK Clients, während er die Leistung der lokalen ML-Inferenz nutzt.