IST-DASLab/marlin
@IST-DASLab16〜32トークンのミディアムバッチサイズで、ほぼ理想的な約4倍の高速化を実現できるFP16xINT4 LLM推論カーネル。
スター
1,138
フォーク
92
言語
Python
ライセンス
Apache-2.0
最終プッシュ
2 年前
関連 Intel（0）
関連 Intel はまだありません
このリポジトリは radar が追跡するソースにまだ登場していません。コレクターはスケジュールで動いています——このリポジトリがカバーされたらまた見てください。