turboderp-org/exllamav2
@turboderp-org最新のコンシューマー向けGPU上でLLMをローカル実行するための高速推論ライブラリ。
スター
4,614
フォーク
341
言語
Python
ライセンス
MIT
最終プッシュ
6 か月前
関連 Intel（0）
関連 Intel はまだありません
このリポジトリは radar が追跡するソースにまだ登場していません。コレクターはスケジュールで動いています——このリポジトリがカバーされたらまた見てください。
最新のコンシューマー向けGPU上でLLMをローカル実行するための高速推論ライブラリ。
このリポジトリは radar が追跡するソースにまだ登場していません。コレクターはスケジュールで動いています——このリポジトリがカバーされたらまた見てください。