zengxiao-he/tessera

教師モデルからタイルまで — フルスクラッチのLLM蒸留・サービングエンジン：カスタムTriton/CUDAカーネル、FSDP蒸留、ページ化KV連続バッチ処理、推測デコーディング、Rustゲートウェイ、JAXオラクル、および解釈可能性ツール。

↗ GitHub で開く

スター

566

フォーク

9

言語

Python

ライセンス

NOASSERTION

最終プッシュ

3 か月前

Python rust llm cuda pytorch jax quantization knowledge-distillation triton inference-engine fsdp kv-cache flash-attention mechanistic-interpretability ml-systems paged-attention speculative-decoding

関連 Intel はまだありません

このリポジトリは radar が追跡するソースにまだ登場していません。コレクターはスケジュールで動いています——このリポジトリがカバーされたらまた見てください。