kv-cache

LMCache: Potencia tu LLM con la capa de caché KV más rápida

Un servidor y clúster de Redis implementado en Golang.

Métodos unificados de compresión de caché KV para modelos autorregresivos.

Compresión de caché KV para LLM simplificada

Qwen3.8-27B on a single RTX 3090 with vLLM: ~1,000 tok/s at 64 concurrent (int8 tensor-core GEMMs, fp16 DeltaNet state), ~114 tok/s single-user at default sampling / ~124 greedy (MTP drafts, own-output draft vocab, calibrated int4 lm_head, split-KV verify attention), 150k-262k context; patches, requant scripts, benchmarks

Notas sobre LLM, incluyendo inferencia de modelos, estructura de modelos transformer y análisis de código de frameworks de LLM.

Motor de inferencia LLM en Rust puro + CUDA; sin PyTorch, compatible con OpenAI, sirve desde Qwen3 hasta Kimi-K2

Realice la inferencia de llama3 paso a paso, comprenda los conceptos básicos, domine la derivación del proceso e implemente el código.

Mixture-of-Recursions: Aprendizaje de profundidades recursivas dinámicas para computación adaptativa a nivel de token (NeurIPS 2025)

De profesor a tiles: un motor de destilación y servicio de LLM creado desde cero: kernels personalizados de Triton/CUDA, destilación FSDP, procesamiento por lotes continuo paged-KV, decodificación especulativa, una puerta de enlace en Rust, un oráculo JAX y herramientas de interpretabilidad.

[NeurIPS'23] H2O: Heavy-Hitter Oracle para la inferencia generativa eficiente de modelos de lenguaje de gran tamaño.