統一的 SOTA 模型優化技術庫,如量化、蒸餾、修剪、神經網路架構搜尋、推測解碼等。可將深度學習模型壓縮以供 TensorRT-LLM、TensorRT、vLLM 等下游部署框架使用,優化推論速度
radar 追蹤的來源裡還沒有出現過這個 repo。收集器照排程執行——等它涵蓋到這個 repo 再回來看看。