kv-cache

LMCache : Boostez votre LLM avec la couche de cache KV la plus rapide

Serveur et cluster Redis implémentés en Golang

Méthodes unifiées de compression de cache KV pour les modèles auto-régressifs

Compression simplifiée du cache KV pour LLM

Qwen3.8-27B on a single RTX 3090 with vLLM: ~1,000 tok/s at 64 concurrent (int8 tensor-core GEMMs, fp16 DeltaNet state), ~114 tok/s single-user at default sampling / ~124 greedy (MTP drafts, own-output draft vocab, calibrated int4 lm_head, split-KV verify attention), 150k-262k context; patches, requant scripts, benchmarks

Notes sur les LLM, incluant l'inférence de modèles, la structure des modèles transformer et l'analyse du code des frameworks LLM.

Moteur d'inférence LLM en Rust pur et CUDA — sans PyTorch, compatible avec OpenAI, servant Qwen3 vers Kimi-K2.

Réalisez l'inférence llama3 étape par étape, saisissez les concepts fondamentaux, maîtrisez la dérivation du processus, implémentez le code.

Mixture-of-Recursions : Apprentissage de profondeurs récursives dynamiques pour le calcul adaptatif au niveau des jetons (NeurIPS 2025)

From teacher to tiles — a from-scratch LLM distillation & serving engine: custom Triton/CUDA kernels, FSDP distillation, paged-KV continuous batching, speculative decoding, a Rust gateway, a JAX oracle, and interpretability tooling.

[NeurIPS'23] H2O : Heavy-Hitter Oracle pour une inférence générative efficace des grands modèles de langage.