noonghunna

RTX 3090/4090/5090 CUDA GPU पर LLM सर्व करने के लिए कम्युनिटी रेसिपी। मल्टी-इंजन (vLLM, llama.cpp, ik_llama) और मॉडल-अज्ञेय। वर्तमान में 1× और 2× कार्ड के लिए Qwen3.6-27B Qwen3.6 35B Gemma 4 26B Gemma 4 31B कॉन्फ़िगरेशन प्रदान कर रहा है।