LMCache/LMCache

LMCache: Potencia tu LLM con la capa de caché KV más rápida

↗ Abrir en GitHub

Estrellas

11.622

Bifurcaciones

1832

Lenguaje

Python

Licencia

Apache-2.0

Último push

hace 4 días

Python llm cuda vllm pytorch inference fast rocm kv-cache speed amd

Aún no hay intel relacionado

Este repo no ha aparecido en ninguna de las fuentes que rastrea el radar. El recopilador funciona con un horario — vuelve cuando lo haya cubierto.