zengxiao-he/tessera

Vom Lehrer zu den Kacheln – eine von Grund auf neu entwickelte LLM-Destillations- und Serving-Engine: mit benutzerdefinierten Triton/CUDA-Kernels, FSDP-Destillation, Paged-KV Continuous Batching, spekulativem Decoding, einem Rust-Gateway, einem JAX-Oracle und Tools zur Interpretierbarkeit.

↗ Auf GitHub öffnen

Sterne

566

Forks

Sprache

Python

Lizenz

NOASSERTION

Letzter Push

vor 3 Monaten

Python rust llm cuda pytorch jax quantization knowledge-distillation triton inference-engine fsdp kv-cache flash-attention mechanistic-interpretability ml-systems paged-attention speculative-decoding

Noch keine verwandte Intel

Dieses Repo ist noch in keiner der vom Radar verfolgten Quellen aufgetaucht. Der Collector läuft nach Zeitplan — schau wieder vorbei, sobald er dieses Repo abdeckt.

Verwandte Intel (0)

Noch keine verwandte Intel