madroidmaq/mlx-omni-server
@madroidmaqMLX Omni Server là một máy chủ suy luận cục bộ được vận hành bởi framework MLX của Apple, được thiết kế đặc biệt cho các chip Apple Silicon (dòng M). Nó triển khai các điểm cuối API tương thích với OpenAI, cho phép tích hợp liền mạch với các ứng dụng khách SDK OpenAI hiện có trong khi tận dụng sức mạnh của suy luận ML cục bộ.
Sao
742
Fork
90
Ngôn ngữ
Python
Giấy phép
MIT
Push gần nhất
4 tháng trước
Intel liên quan (0)
Chưa có intel liên quan
Kho mã này chưa xuất hiện trong bất kỳ nguồn nào radar theo dõi. Bộ thu thập chạy theo lịch — hãy quay lại khi nó bao quát kho mã này.