ovg-project/kvcached

Bộ nhớ đệm KV đàn hồi ảo hóa để chia sẻ GPU động và hơn thế nữa

↗ Mở trên GitHub

Sao

1.275

Fork

144

Ngôn ngữ

Python

Giấy phép

Apache-2.0

Push gần nhất

2 tuần trước

Python llm ollama llm-inference vllm serverless inference-engine llm-framework llm-serving sglang kvcache-optimization elastic-kvcache gpu-mutiplexing gpu-sharing kvcache kvcached online-offline-coserve

Chưa có intel liên quan

Kho mã này chưa xuất hiện trong bất kỳ nguồn nào radar theo dõi. Bộ thu thập chạy theo lịch — hãy quay lại khi nó bao quát kho mã này.