Zum Hauptinhalt springen
buildradar
Sign in

ovg-project/kvcached

@ovg-project

Virtualisierter Elastic KV Cache für dynamisches GPU-Sharing und mehr

Sterne
1.275
Forks
144
Sprache
Python
Lizenz
Apache-2.0
Letzter Push
vor 2 Wochen
Pythonllmollamallm-inferencevllmserverlessinference-enginellm-frameworkllm-servingsglangkvcache-optimizationelastic-kvcachegpu-mutiplexinggpu-sharingkvcachekvcachedonline-offline-coserve

Noch keine verwandte Intel

Dieses Repo ist noch in keiner der vom Radar verfolgten Quellen aufgetaucht. Der Collector läuft nach Zeitplan — schau wieder vorbei, sobald er dieses Repo abdeckt.