intentee

बड़े पैमाने पर LLMs (और VLMs) को सेल्फ-होस्ट करने के लिए ओपन-सोर्स LLM/VLM लोड बैलेंसर और सर्विंग प्लेटफॉर्म 🏓🦙 llm-d, Docker Model Runner जैसे प्रोजेक्ट्स का एक विकल्प, लेकिन ggml इकोसिस्टम के इर्द-गिर्द बने कम गतिशील भागों और सरल डिप्लॉयमेंट के साथ। CPU और GPU पर चलता है।