kv-cache

LMCache：以最快的 KV 快取層為 LLM 提供加速

Golang實作的Redis伺服器與叢集

用於自迴歸模型的統一 KV 快取壓縮方法。

讓 LLM KV 快取壓縮變得輕鬆簡單

Qwen3.8-27B on a single RTX 3090 with vLLM: ~1,000 tok/s at 64 concurrent (int8 tensor-core GEMMs, fp16 DeltaNet state), ~114 tok/s single-user at default sampling / ~124 greedy (MTP drafts, own-output draft vocab, calibrated int4 lm_head, split-KV verify attention), 150k-262k context; patches, requant scripts, benchmarks

LLM 筆記，包含模型推論、Transformer 模型結構，以及 LLM 框架程式碼分析筆記。

純 Rust + CUDA LLM 推論引擎 — 無需 PyTorch，相容 OpenAI，支援 Qwen3 至 Kimi-K2 服務

逐步實現 llama3 推論、掌握核心概念、掌握過程推導、實作程式碼。

Mixture-of-Recursions：學習用於自適應 Token 層級計算的動態遞迴深度 (NeurIPS 2025)

從教師模型到模型切片——從零開始的 LLM 蒸餾與服務引擎：包含自訂 Triton/CUDA 核心、FSDP 蒸餾、paged-KV 連續批次處理、推測解碼、Rust 閘道、JAX 預測器與可解釋性工具。

[NeurIPS'23] H2O：用於大型語言模型高效生成式推論的 Heavy-Hitter Oracle