NVIDIA/kvpress

Compressão de cache KV para LLM simplificada

↗ Abrir no GitHub

Estrelas

1.201

Bifurcações

174

Linguagem

Python

Licença

Apache-2.0

Último push

há 5 dias

Python python llm large-language-models pytorch transformers inference long-context kv-cache kv-cache-compression

Ainda não há intel relacionado

Este repo ainda não apareceu em nenhuma das fontes que o radar rastreia. O coletor roda em um cronograma — volte quando ele cobrir este repo.