ovg-project/kvcached

用於動態 GPU 共用及更高應用的虛擬化彈性 KV 快取

↗ 在 GitHub 開啟

星數

1,275

Fork 數

144

語言

Python

授權

Apache-2.0

最後推送

3 週前

Python llm ollama llm-inference vllm serverless inference-engine llm-framework llm-serving sglang kvcache-optimization elastic-kvcache gpu-mutiplexing gpu-sharing kvcache kvcached online-offline-coserve

還沒有相關情報

radar 追蹤的來源裡還沒有出現過這個 repo。收集器照排程執行——等它涵蓋到這個 repo 再回來看看。