micytao

vLLM सर्वर (www.github.com/vllm-project/vllm) को प्रबंधित और इंटरैक्ट करने के लिए एक आधुनिक वेब इंटरफेस। यह GPU और CPU दोनों मोड का समर्थन करता है, जिसमें macOS Apple Silicon और OpenShift/Kubernetes पर एंटरप्राइज़ परिनियोजन के लिए विशेष अनुकूलन शामिल हैं।