IST-DASLab/marlin
@IST-DASLabFP16xINT4 LLM 推論核心，在 16-32 個 token 的中等批次大小下，可實現近乎理想的約 4 倍加速。
星數
1,138
Fork 數
92
語言
Python
授權
Apache-2.0
最後推送
2 年前
相關情報（0）
還沒有相關情報
radar 追蹤的來源裡還沒有出現過這個 repo。收集器照排程執行——等它涵蓋到這個 repo 再回來看看。
FP16xINT4 LLM 推論核心，在 16-32 個 token 的中等批次大小下，可實現近乎理想的約 4 倍加速。
radar 追蹤的來源裡還沒有出現過這個 repo。收集器照排程執行——等它涵蓋到這個 repo 再回來看看。