zengxiao-he/tessera

從教師模型到模型切片——從零開始的 LLM 蒸餾與服務引擎：包含自訂 Triton/CUDA 核心、FSDP 蒸餾、paged-KV 連續批次處理、推測解碼、Rust 閘道、JAX 預測器與可解釋性工具。

↗ 在 GitHub 開啟

星數

566

Fork 數

9

語言

Python

授權

NOASSERTION

最後推送

3 個月前

Python rust llm cuda pytorch jax quantization knowledge-distillation triton inference-engine fsdp kv-cache flash-attention mechanistic-interpretability ml-systems paged-attention speculative-decoding

還沒有相關情報

radar 追蹤的來源裡還沒有出現過這個 repo。收集器照排程執行——等它涵蓋到這個 repo 再回來看看。