madroidmaq

MLX Omni Server là một máy chủ suy luận cục bộ được vận hành bởi framework MLX của Apple, được thiết kế đặc biệt cho các chip Apple Silicon (dòng M). Nó triển khai các điểm cuối API tương thích với OpenAI, cho phép tích hợp liền mạch với các ứng dụng khách SDK OpenAI hiện có trong khi tận dụng sức mạnh của suy luận ML cục bộ.