Tiiny-AI/PowerInfer

ローカルデプロイメントのための高速大規模言語モデルサービング

↗ GitHub で開く

スター

9,758

フォーク

597

言語

C++

ライセンス

MIT

最終プッシュ

4 か月前

C++llm large-language-models llm-inference llama local-inference

関連 Intel はまだありません

このリポジトリは radar が追跡するソースにまだ登場していません。コレクターはスケジュールで動いています——このリポジトリがカバーされたらまた見てください。