kv-cache

LMCache: Potencialize seu LLM com a camada de cache KV mais rápida

Um servidor Redis e cluster implementado em Golang.

Métodos unificados de compressão de cache KV para modelos autorregressivos.

Compressão de cache KV para LLM simplificada

Qwen3.8-27B on a single RTX 3090 with vLLM: ~1,000 tok/s at 64 concurrent (int8 tensor-core GEMMs, fp16 DeltaNet state), ~114 tok/s single-user at default sampling / ~124 greedy (MTP drafts, own-output draft vocab, calibrated int4 lm_head, split-KV verify attention), 150k-262k context; patches, requant scripts, benchmarks

Notas sobre LLM, incluindo inferência de modelos, estrutura de modelos transformer e notas de análise de código de frameworks de LLM.

Mecanismo de inferência de LLM em Pure Rust + CUDA — sem PyTorch, compatível com OpenAI, serve de Qwen3 a Kimi-K2

Implemente a inferência do llama3 passo a passo, compreenda os conceitos centrais, domine a derivação do processo e escreva o código.

Mixture-of-Recursions: Aprendendo Profundidades Recursivas Dinâmicas para Computação Adaptativa em Nível de Token (NeurIPS 2025)

From teacher to tiles — a from-scratch LLM distillation & serving engine: custom Triton/CUDA kernels, FSDP distillation, paged-KV continuous batching, speculative decoding, a Rust gateway, a JAX oracle, and interpretability tooling.

[NeurIPS'23] H2O: Heavy-Hitter Oracle para Inferência Gerativa Eficiente de Modelos de Linguagem de Grande Porte.