llava

[NeurIPS'23 Oral] GPT-4V स्तर की क्षमताओं और उससे आगे की ओर निर्मित Visual Instruction Tuning (LLaVA)।

SUPIR का उद्देश्य इन-द-वाइल्ड फोटो-यथार्थवादी इमेज रिस्टोरेशन के लिए व्यावहारिक एल्गोरिदम विकसित करना है। हमारा नया ऑनलाइन डेमो suppixel.ai पर भी जारी किया गया है।

MLX-VLM MLX का उपयोग करके आपके Mac पर विजन लैंग्वेज मॉडल (VLMs) के अनुमान और फ़ाइन-ट्यूनिंग के लिए एक पैकेज है।

लार्ज मल्टी-मोडालिटी मॉडल (LMMs) का ओपन-सोर्स मूल्यांकन टूलकिट, 220+ LMMs, 80+ बेंचमार्क का समर्थन करता है।

चीनी NLP समाधान (लार्ज मॉडल, डेटा, मॉडल, ट्रेनिंग, इन्फेरेंस)

आपके स्थानीय डिवाइस पर LLM (🦙LLaMA/LLaVA) को कुशलतापूर्वक चलाने के लिए एक C#/.NET लाइब्रेरी।

Eagle: डेटा-केंद्रित रणनीतियों के साथ फ्रंटियर विजन-लैंग्वेज मॉडल

[EMNLP-2024] तेज़ प्रोटोटाइप और प्रोडक्शन के लिए मल्टीमॉडल लैंग्वेज एजेंट बनाएं

[ACL 2024 🔥] Video-ChatGPT एक वीडियो वार्तालाप मॉडल है जो वीडियो के बारे में सार्थक बातचीत उत्पन्न करने में सक्षम है। यह स्थानिक-अस्थायी वीडियो प्रतिनिधित्व के लिए अनुकूलित एक प्री-ट्रेनेड विजुअल एनकोडर के साथ LLM की क्षमताओं को जोड़ता है। हम वीडियो-आधारित संवादात्मक मॉडल के लिए एक कठोर 'मात्रात्मक मूल्यांकन बेंचमार्किंग' भी पेश करते हैं।

इमेज डेटासेट के लिए टैग मैनेजर और कैप्शनर

बहुभाषी टेक्स्ट, इमेज और 🔜 वीडियो में कंटेंट को समझने और जनरेट करने के लिए पॉकेट-साइज़ मल्टीमॉडल AI, जो OpenAI CLIP और LLaVA से 5 गुना तक तेज़ है 🖼️ & 🖋️

लोकतांत्रिक मल्टीमॉडल प्रशिक्षण के लिए पूर्ण रूप से ओपन फ्रेमवर्क

छोटे पैमाने के लार्ज मल्टीमॉडल मॉडल्स का एक फ्रेमवर्क

🔥🔥 LLaVA++: Phi-3 और LLaMA-3 के साथ LLaVA का विस्तार (LLaVA LLaMA-3, LLaVA Phi-3)

OpenCV+YOLO+LLAVA द्वारा संचालित वीडियो सर्विलांस सिस्टम

Paddle मल्टीमॉडल इंटीग्रेशन और एक्सप्लोरेशन, जो मुख्यधारा के मल्टी-मॉडल कार्यों का समर्थन करता है, जिसमें एंड-टू-एंड लार्ज-स्केल मल्टी-मॉडल प्रीट्रेन मॉडल और डिफ्यूजन मॉडल टूलबॉक्स शामिल हैं। उच्च प्रदर्शन और लचीलेपन से लैस।

विज़न-लैंग्वेज मॉडल पेपर और मॉडल्स का एक प्रमुख फ़्रंटएंड कलेक्शन और सर्वे GitHub रिपॉजिटरी। निरंतर अपडेट।

👁️ + 💬 + 🎧 = 🤖 शीर्ष फाउंडेशन और मल्टीमॉडल मॉडलों की क्यूरेटेड सूची! [पेपर + कोड + उदाहरण + ट्यूटोरियल]

विज़न-लैंग्वेज मॉडल्स के लिए ComfyUI नोड्स: Qwen3-VL, Moondream 3, Florence-2, SmolVLM2, InternVL, Gemma 3, MiniCPM-V। साथ ही ओपन-वोकैबुलरी डिटेक्शन, SAM2/SAM3 सेगमेंटेशन, वीडियो टेम्पोरल रीजनिंग, llama.cpp के माध्यम से GGUF, और होस्टेड LLM/VLM API।

LLaVA-Mini एक एकीकृत बड़ा मल्टीмодальный मॉडल (LMM) है जो छवियों, उच्च-रिज़ॉल्यूशन छवियों और वीडियो की समझ को कुशलता से समर्थन कर सकता है।

दैनिक कार्यों में सहायता के लिए AI-संचालित असिस्टेंट, जो Llama 3, DeepSeek R1 और HuggingFace पर उपलब्ध कई अन्य मॉडलों द्वारा संचालित है