kv-cache

LMCache：以最快的 KV 缓存层为 LLM 提供加速

Golang实现的Redis服务器与集群

用于自回归模型的统一 KV 缓存压缩方法。

让 LLM KV 缓存压缩变得轻松简单

Qwen3.8-27B on a single RTX 3090 with vLLM: ~1,000 tok/s at 64 concurrent (int8 tensor-core GEMMs, fp16 DeltaNet state), ~114 tok/s single-user at default sampling / ~124 greedy (MTP drafts, own-output draft vocab, calibrated int4 lm_head, split-KV verify attention), 150k-262k context; patches, requant scripts, benchmarks

LLM 笔记，包含模型推理、Transformer 模型结构，以及 LLM 框架代码分析笔记。

纯 Rust + CUDA LLM 推理引擎 — 无需 PyTorch，兼容 OpenAI，支持 Qwen3 至 Kimi-K2 服务

逐步实现 llama3 推理、掌握核心概念、掌握过程推导、实现代码。

Mixture-of-Recursions：学习用于自适应 Token 层级计算的动态递归深度 (NeurIPS 2025)

从教师模型到模型切片——从零开始的 LLM 蒸馏与服务引擎：包含自定义 Triton/CUDA 内核、FSDP 蒸馏、paged-KV 连续批处理、推测解码、Rust 网关、JAX 预测器与可解释性工具。

[NeurIPS'23] H2O：用于大型语言模型高效生成式推理的 Heavy-Hitter Oracle