zhihu/ZhiLight

Llamaとその派生モデル向けの高最適化されたLLM推論加速エンジン。

↗ GitHub で開く

スター

908

フォーク

104

言語

C++

ライセンス

Apache-2.0

最終プッシュ

6 か月前

C++llm cuda gpt llm-inference pytorch llama inference-engine deepseek-r1 llm-serving model-serving

関連 Intel はまだありません

このリポジトリは radar が追跡するソースにまだ登場していません。コレクターはスケジュールで動いています——このリポジトリがカバーされたらまた見てください。