zengxiao-he/tessera

从教师模型到模型切片——从零开始的 LLM 蒸馏与服务引擎：包含自定义 Triton/CUDA 内核、FSDP 蒸馏、paged-KV 连续批处理、推测解码、Rust 网关、JAX 预测器与可解释性工具。

↗ 在 GitHub 打开

星数

566

Fork 数

9

语言

Python

许可

NOASSERTION

最后推送

3个月前

Python rust llm cuda pytorch jax quantization knowledge-distillation triton inference-engine fsdp kv-cache flash-attention mechanistic-interpretability ml-systems paged-attention speculative-decoding

还没有相关情报

radar 追踪的来源里还没有出现过这个 repo。收集器按计划运行——等它覆盖到这个 repo 再回来看看。