madroidmaq

MLX Omni Server é um servidor de inferência local alimentado pelo framework MLX da Apple, projetado especificamente para chips Apple Silicon (série M). Ele implementa endpoints de API compatíveis com a OpenAI, permitindo integração perfeita com clientes SDK da OpenAI existentes, enquanto aproveita o poder da inferência de ML local.