ovg-project/kvcached

動的な GPU 共有などのための仮想化 Elastic KV キャッシュ

↗ GitHub で開く

スター

1,275

フォーク

144

言語

Python

ライセンス

Apache-2.0

最終プッシュ

2 週間前

Python llm ollama llm-inference vllm serverless inference-engine llm-framework llm-serving sglang kvcache-optimization elastic-kvcache gpu-mutiplexing gpu-sharing kvcache kvcached online-offline-coserve

関連 Intel はまだありません

このリポジトリは radar が追跡するソースにまだ登場していません。コレクターはスケジュールで動いています——このリポジトリがカバーされたらまた見てください。