zhihu/ZhiLight

針對 Llama 及其變體的高度最佳化 LLM 推論加速引擎。

↗ 在 GitHub 開啟

星數

908

Fork 數

104

語言

C++

授權

Apache-2.0

最後推送

6 個月前

C++llm cuda gpt llm-inference pytorch llama inference-engine deepseek-r1 llm-serving model-serving

還沒有相關情報

radar 追蹤的來源裡還沒有出現過這個 repo。收集器照排程執行——等它涵蓋到這個 repo 再回來看看。