noonghunna

Community-Rezepte zum Bereitstellen von LLMs auf RTX 3090/4090/5090 CUDA-GPUs. Multi-Engine (vLLM, llama.cpp, ik_llama) und modellagnostisch. Enthält derzeit Konfigurationen für Qwen3.6-27B, Qwen3.6 35B, Gemma 4 26B und Gemma 4 31B für 1×- und 2×-Karten.