madroidmaq/mlx-omni-server
@madroidmaqMLX Omni Server adalah server inferensi lokal yang didukung oleh framework MLX Apple, yang dirancang khusus untuk chip Apple Silicon (seri M). Ini mengimplementasikan endpoint API yang kompatibel dengan OpenAI, memungkinkan integrasi yang mulus dengan klien SDK OpenAI yang ada sekaligus memanfaatkan kekuatan inferensi ML lokal.
Bintang
742
Fork
90
Bahasa
Python
Lisensi
MIT
Push terakhir
4 bulan yang lalu
Intel terkait (0)
Belum ada intel terkait
Repositori ini belum muncul di sumber mana pun yang dilacak radar. Kolektor berjalan sesuai jadwal — periksa kembali setelah mencakup repositori ini.