ovg-project/kvcached

Caché KV elástica virtualizada para el uso compartido dinámico de GPU y más.

↗ Abrir en GitHub

Estrellas

1275

Bifurcaciones

144

Lenguaje

Python

Licencia

Apache-2.0

Último push

hace 2 semanas

Python llm ollama llm-inference vllm serverless inference-engine llm-framework llm-serving sglang kvcache-optimization elastic-kvcache gpu-mutiplexing gpu-sharing kvcache kvcached online-offline-coserve

Aún no hay intel relacionado

Este repo no ha aparecido en ninguna de las fuentes que rastrea el radar. El recopilador funciona con un horario — vuelve cuando lo haya cubierto.