noonghunna の追跡中のオープンソースリポジトリを、スター数順に表示します。
RTX 3090/4090/5090 CUDA GPUでLLMをサービングするためのコミュニティレシピ。マルチエンジン(vLLM、llama.cpp、ik_llama)およびモデル非依存。現在、1枚および2枚のカード向けにQwen3.6-27B、Qwen3.6 35B、Gemma 4 26B、Gemma 4 31Bの設定を提供。