noonghunna/club-3090
@noonghunnaRTX 3090/4090/5090 CUDA GPUでLLMをサービングするためのコミュニティレシピ。マルチエンジン(vLLM、llama.cpp、ik_llama)およびモデル非依存。現在、1枚および2枚のカード向けにQwen3.6-27B、Qwen3.6 35B、Gemma 4 26B、Gemma 4 31Bの設定を提供。
スター
2,166
フォーク
134
言語
Python
ライセンス
Apache-2.0
最終プッシュ
1 週間前
関連 Intel(0)
関連 Intel はまだありません
このリポジトリは radar が追跡するソースにまだ登場していません。コレクターはスケジュールで動いています——このリポジトリがカバーされたらまた見てください。