EricLBuehler/candle-vllm
@EricLBuehlerNền tảng hiệu quả để suy luận và phục vụ các LLM cục bộ, bao gồm máy chủ API tương thích với OpenAI.
Sao
722
Fork
88
Ngôn ngữ
Rust
Giấy phép
MIT
Push gần nhất
3 ngày trước
Intel liên quan (0)
Chưa có intel liên quan
Kho mã này chưa xuất hiện trong bất kỳ nguồn nào radar theo dõi. Bộ thu thập chạy theo lịch — hãy quay lại khi nó bao quát kho mã này.