intentee/paddler
@intenteeबड़े पैमाने पर LLMs (और VLMs) को सेल्फ-होस्ट करने के लिए ओपन-सोर्स LLM/VLM लोड बैलेंसर और सर्विंग प्लेटफॉर्म 🏓🦙 llm-d, Docker Model Runner जैसे प्रोजेक्ट्स का एक विकल्प, लेकिन ggml इकोसिस्टम के इर्द-गिर्द बने कम गतिशील भागों और सरल डिप्लॉयमेंट के साथ। CPU और GPU पर चलता है।
स्टार
1,665
फ़ोर्क
97
भाषा
Rust
लाइसेंस
Apache-2.0
आख़िरी push
2 माह पहले
संबंधित intel (0)
अभी कोई संबंधित intel नहीं
यह रिपॉजिटरी radar द्वारा ट्रैक किए जाने वाले किसी भी स्रोत में अभी तक नहीं आई है। कलेक्टर एक शेड्यूल पर चलता है — जब यह इस रिपॉजिटरी को कवर करे तब वापस देखें।