メインコンテンツへスキップ
buildradar
ログイン

noonghunna/club-3090

@noonghunna

RTX 3090/4090/5090 CUDA GPUでLLMをサービングするためのコミュニティレシピ。マルチエンジン(vLLM、llama.cpp、ik_llama)およびモデル非依存。現在、1枚および2枚のカード向けにQwen3.6-27B、Qwen3.6 35B、Gemma 4 26B、Gemma 4 31Bの設定を提供。

スター
2,166
フォーク
134
言語
Python
ライセンス
Apache-2.0
最終プッシュ
1 週間前
Python

関連 Intel はまだありません

このリポジトリは radar が追跡するソースにまだ登場していません。コレクターはスケジュールで動いています——このリポジトリがカバーされたらまた見てください。