zengxiao-he/tessera

교사 모델에서 타일 모델까지 — 처음부터 구현한 LLM 증류 및 서빙 엔진: 커스텀 Triton/CUDA 커널, FSDP 증류, 페이징된 KV 연속 배치, 추측 디코딩, Rust 게이트웨이, JAX 오라클, 해석 가능성 도구를 포함합니다.

↗ GitHub에서 열기

스타

566

포크

9

언어

Python

라이선스

NOASSERTION

마지막 푸시

3개월 전

Python rust llm cuda pytorch jax quantization knowledge-distillation triton inference-engine fsdp kv-cache flash-attention mechanistic-interpretability ml-systems paged-attention speculative-decoding

아직 관련 인텔이 없습니다

이 저장소는 radar가 추적하는 어떤 소스에도 아직 등장하지 않았습니다. 수집기는 예약에 따라 실행됩니다——이 저장소를 다루게 되면 다시 확인하세요.