kv-cache

LMCache: 가장 빠른 KV 캐시 레이어로 LLM 성능 극대화

Go로 구현된 Redis 서버 및 클러스터.

자기회귀 모델을 위한 통합 KV 캐시 압축 방법

간편한 LLM KV 캐시 압축 도구

Qwen3.8-27B on a single RTX 3090 with vLLM: ~1,000 tok/s at 64 concurrent (int8 tensor-core GEMMs, fp16 DeltaNet state), ~114 tok/s single-user at default sampling / ~124 greedy (MTP drafts, own-output draft vocab, calibrated int4 lm_head, split-KV verify attention), 150k-262k context; patches, requant scripts, benchmarks

모델 추론, Transformer 모델 구조, LLM 프레임워크 코드 분석 노트를 포함한 LLM 노트

Pure Rust + CUDA LLM 추론 엔진 — PyTorch 미사용, OpenAI 호환, Qwen3에서 Kimi-K2까지 서비스 제공

llama3 추론 과정을 단계별로 학습하고 핵심 개념 파악, 프로세스 유도 및 코드 구현

Mixture-of-Recursions: 적응형 토큰 수준 계산을 위한 동적 재귀 깊이 학습 (NeurIPS 2025)

교사 모델에서 타일 모델까지 — 처음부터 구현한 LLM 증류 및 서빙 엔진: 커스텀 Triton/CUDA 커널, FSDP 증류, 페이징된 KV 연속 배치, 추측 디코딩, Rust 게이트웨이, JAX 오라클, 해석 가능성 도구를 포함합니다.

[NeurIPS'23] H2O: 대규모 언어 모델의 효율적인 생성 추론을 위한 Heavy-Hitter Oracle