ovg-project/kvcached

用于动态 GPU 共享及更高应用的虚拟化弹性 KV 缓存

↗ 在 GitHub 打开

星数

1,366

Fork 数

157

语言

Python

许可

Apache-2.0

最后推送

3周前

Python llm ollama llm-inference vllm serverless inference-engine llm-framework llm-serving sglang kvcache-optimization elastic-kvcache gpu-mutiplexing gpu-sharing kvcache kvcached online-offline-coserve

还没有相关情报

radar 追踪的来源里还没有出现过这个 repo。收集器按计划运行——等它覆盖到这个 repo 再回来看看。