multi-modality

[NeurIPS'23 Oral] GPT-4V स्तर की क्षमताओं और उससे आगे की ओर निर्मित Visual Instruction Tuning (LLaVA)।

मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स पर नवीनतम प्रगति।

🏄 CLIP के साथ छवियों और वाक्यों के लिए स्केलेबल एम्बेडिंग, रीजनिंग और रैंकिंग

MOSS-TTS-Nano MOSI.AI और OpenMOSS टीम का एक ओपन-सोर्स बहुभाषी छोटा स्पीच जनरेशन मॉडल है। केवल 0.1B पैरामीटर के साथ, इसे रीयल-टाइम स्पीच जनरेशन के लिए डिज़ाइन किया गया है, यह बिना GPU के सीधे CPU पर चल सकता है, और स्थानीय डेमो, वेब सर्विंग और हल्के उत्पाद एकीकरण के लिए डिप्लॉयमेंट स्टैक को सरल रखता है।

🦦 Otter, OpenFlamingo (DeepMind के Flamingo का ओपन-सोर्स संस्करण) पर आधारित एक मल्टी-मोडल मॉडल, जिसे MIMIC-IT पर प्रशिक्षित किया गया है और जो बेहतर निर्देश-पालन तथा इन-कंटेक्स्ट लर्निंग क्षमता प्रदर्शित करता है।

InternLM-XComposer2.5-OmniLive: लॉन्ग-टर्म स्ट्रीमिंग वीडियो और ऑडियो इंटरैक्शन के लिए एक व्यापक मल्टीमॉडल सिस्टम

3D ऑब्जेक्ट ट्रैकिंग पर एल्गोरिदम और प्रकाशन

VLM द्वारा समर्थित पार्सिंग-मुक्त RAG।

Long-RL: लंबी अनुक्रमों के लिए RL को स्केल करना (NeurIPS 2025)।

[CVPR 2025] MINIMA: मोडालिटी इनवेरिएंट इमेज मैचिंग

Chatbot Arena अब मल्टी-मोडैलिटी के साथ! Multi-Modality Arena आपको इनपुट के रूप में इमेज प्रदान करते हुए विज़न-लैंग्वेज मॉडल की तुलना करने की सुविधा देता है। यह MiniGPT-4, LLaMA-Adapter V2, LLaVA, BLIP-2 और कई अन्य का समर्थन करता है।