EricLBuehler/candle-vllm
@EricLBuehlerPlatform efisien untuk inferensi dan penyajian LLM lokal termasuk server API yang kompatibel dengan OpenAI.
Bintang
722
Fork
88
Bahasa
Rust
Lisensi
MIT
Push terakhir
2 hari yang lalu
Intel terkait (0)
Belum ada intel terkait
Repositori ini belum muncul di sumber mana pun yang dilacak radar. Kolektor berjalan sesuai jadwal — periksa kembali setelah mencakup repositori ini.