ovg-project/kvcached

Cache KV élastique virtualisé pour le partage dynamique de GPU et au-delà

↗ Ouvrir sur GitHub

Étoiles

1 275

Bifurcations

144

Langage

Python

Licence

Apache-2.0

Dernier push

il y a 3 semaines

Python llm ollama llm-inference vllm serverless inference-engine llm-framework llm-serving sglang kvcache-optimization elastic-kvcache gpu-mutiplexing gpu-sharing kvcache kvcached online-offline-coserve

Aucune intel associée pour le moment

Ce dépôt n'est encore apparu dans aucune des sources que le radar suit. Le collecteur suit un calendrier — revenez une fois qu'il couvre ce dépôt.