ovg-project/kvcached

Cache KV elástico virtualizado para compartilhamento dinâmico de GPU e muito mais

↗ Abrir no GitHub

Estrelas

1.275

Bifurcações

144

Linguagem

Python

Licença

Apache-2.0

Último push

há 3 semanas

Python llm ollama llm-inference vllm serverless inference-engine llm-framework llm-serving sglang kvcache-optimization elastic-kvcache gpu-mutiplexing gpu-sharing kvcache kvcached online-offline-coserve

Ainda não há intel relacionado

Este repo ainda não apareceu em nenhuma das fontes que o radar rastreia. O coletor roda em um cronograma — volte quando ele cobrir este repo.