ggml

C/C++ में LLM अनुमान

शुद्ध C/C++ में Diffusion model (SD, Flux, Wan, Qwen Image, Z-Image,...) का इनफ्रेंस (inference)।

ऑडियो मॉडल के लिए एक ऑल-इन-वन, शुद्ध C++ इन्फेरेंस इंजन, जो ggml द्वारा संचालित है। अत्यधिक अनुकूलित प्रदर्शन के साथ TTS, STT, VAD, वॉयस कन्वर्शन, म्यूजिक जनरेशन और बहुत कुछ समर्थन करता है। कोई Python निर्भरता नहीं।

GGML लाइब्रेरी का उपयोग करके iOS और MacOS पर ऑफ़लाइन llama और अन्य बड़े भाषा मॉडल (LLM)।

16+ मॉडल परिवारों के लिए ggml स्पीच-टू-टेक्स्ट अनुमान

अपने Ollama मॉडल को प्रबंधित करने के लिए Go

RWKV भाषा मॉडल के लिए CPU पर INT4/INT5/INT8 और FP16 इनफेरेंस।

किसी भी LLM के लिए token/s और GPU मेमोरी आवश्यकता की गणना करें। llama.cpp/ggml/bnb/QLoRA क्वांटाइजेशन का समर्थन करता है

ComfyUI के लिए यह custom_node किसी भी UNet और CLIP लोडर के लिए वन-क्लिक "Virtual VRAM" जोड़ता है, साथ ही WanVideoWrapper में MultiGPU एकीकरण प्रदान करता है, जो आपके कार्ड के लेटेंट स्पेस को अधिकतम करने के लिए लेयर्स को DRAM या VRAM में ऑफलोड/स्वैप करता है। इसमें सीधे डिवाइस पर संपूर्ण कंपोनेंट्स (UNet, CLIP, VAE) लोड करने के लिए नोड्स भी शामिल हैं।

Android पर स्थानीय रूप से, ऑन-डिवाइस किसी भी GGUF SLMs/LLMs को चलाना।

तेज़ टेक्स्ट-टू-स्पीच जनरेशन के लिए C/C++ में Suno AI का Bark मॉडल।

एक सिंगल कैमरे से रीयल-टाइम 3D फुल-बॉडी पुनर्निर्माण, मल्टीपर्सन BVH आउटपुट, प्योर C++ रनटाइम, ONNX + ggml, हाथों के साथ 70-जोड़ कंकाल।

बहुभाषी ASR और TTS मॉडल के लिए C++ ggml रनटाइम हब: Cohere Transcribe, Parakeet TDT, Voxtral, Canary 1B v2, आदि, साथ ही यूनिवर्सल फोर्स्ड अलाइनमेंट और बहुत कुछ।

AI कोडर के लिए स्व-मूल्यांकन साक्षात्कार

बिना किसी अतिरिक्त निर्भरता के सादे C/C++ में CLIP इन्फरेंस