kv-cache

LMCache: 最速のKVキャッシュレイヤーでLLMを強化

Golangで実装されたRedisサーバーとクラスター。Go言語で実装されたRedisサーバーと分散型クラスター。

自己回帰モデル向けの統合型 KV キャッシュ圧縮手法

LLM KV キャッシュ圧縮を簡単に

Qwen3.8-27B on a single RTX 3090 with vLLM: ~1,000 tok/s at 64 concurrent (int8 tensor-core GEMMs, fp16 DeltaNet state), ~114 tok/s single-user at default sampling / ~124 greedy (MTP drafts, own-output draft vocab, calibrated int4 lm_head, split-KV verify attention), 150k-262k context; patches, requant scripts, benchmarks

LLM に関するノート。モデル推論、Transformer モデルの構造、LLM フレームワークのコード解析ノートを含む。

純粋なRust + CUDAによるLLM推論エンジン — PyTorchなし、OpenAI互換、Qwen3からKimi-K2まで提供

llama3の推論をステップバイステップで実現し、コア概念を理解し、プロセスの導出をマスターし、コードを実装する。

Mixture-of-Recursions: アダプティブなトークンレベル計算のための動的再帰深度の学習 (NeurIPS 2025)

教師モデルからタイルまで — フルスクラッチのLLM蒸留・サービングエンジン：カスタムTriton/CUDAカーネル、FSDP蒸留、ページ化KV連続バッチ処理、推測デコーディング、Rustゲートウェイ、JAXオラクル、および解釈可能性ツール。

[NeurIPS'23] 大規模言語モデルの効率的な生成推論のための Heavy-Hitter Oracle (H2O)