IST-DASLab/marlin
@IST-DASLabFP16xINT4 LLM 推理核心，在 16-32 个 token 的中等批次大小下，可实现近乎理想的约 4 倍加速。
星数
1,138
Fork 数
92
语言
Python
许可
Apache-2.0
最后推送
2年前
相关情报（0）
还没有相关情报
radar 追踪的来源里还没有出现过这个 repo。收集器按计划运行——等它覆盖到这个 repo 再回来看看。
FP16xINT4 LLM 推理核心，在 16-32 个 token 的中等批次大小下，可实现近乎理想的约 4 倍加速。
radar 追踪的来源里还没有出现过这个 repo。收集器按计划运行——等它覆盖到这个 repo 再回来看看。