multimodal

फाउंडेशन मॉडल्स के साथ रीजनिंग में नवीनतम पेपर्स और बेंचमार्क।

MOSS-Audio एकीकृत ऑडियो समझ के लिए एक ओपन-सोर्स फाउंडेशन मॉडल है, जो वास्तविक दुनिया के परिदृश्यों में भाषण, ध्वनि, संगीत, कैप्शनिंग, QA और तर्क को सक्षम बनाता है।

SEED-LLaMA (ICLR 2024) का आधिकारिक कार्यान्वयन।

"Seg-Zero: Reasoning-Chain Guided Segmentation via Cognitive Reinforcement" के लिए प्रोजेक्ट पेज।

👁️ + 💬 + 🎧 = 🤖 शीर्ष फाउंडेशन और मल्टीमॉडल मॉडलों की क्यूरेटेड सूची! [पेपर + कोड + उदाहरण + ट्यूटोरियल]

Blended Latent Diffusion [SIGGRAPH 2023] के लिए आधिकारिक कार्यान्वयन।

Second Brain एक एजेंटिक फ्रेमवर्क है जो कार्यों को पूरा करने और कई तौर-तरीकों पर संवाद करने के लिए ऑपरेटिंग सिस्टम के रूप में कार्य करता है।

यह रिपॉजिटरी LlamaIndex, Deep Lake और Pinecone के साथ Generative AI के लिए Retrieval Augmented Generation (RAG) कोड बनाने के लिए प्रोग्राम प्रदान करती है, जो जनरेशन और इवैल्यूएशन के लिए OpenAI और Hugging Face मॉडल की शक्ति का लाभ उठाती है।

2B Model पर मल्टीमॉडल “आहा मोमेंट” का पता लगाएं

Hunyuan3D-Omni: 3D एसेट्स के नियंत्रित जनरेशन के लिए एक एकीकृत फ्रेमवर्क।

An open-weight 11B model series for long-form and real-time video understanding

[ECCV 2024] प्रॉम्प्टिंग के माध्यम से किसी भी चीज़ को टोकनाइज़ करें

बड़े पैमाने पर ऑम्नी-मोडल पोस्ट-ट्रेनिंग के लिए एक एसिंक्रोनस रिइंफोर्समेंट लर्निंग इंजन।

यह रिपॉजिटरी "MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI" पेपर के लिए मूल्यांकन कोड प्रदान करती है।

"Blended Diffusion for Text-driven Editing of Natural Images" [CVPR 2022] के लिए आधिकारिक कार्यान्वयन

GPT-4 Vision का उपयोग करके ब्राउज़र ऑटोमेशन बनाएं जैसे कि आप किसी इंसान को सिखा रहे हों।

[ECCV2024] स्थानीयकृत विजुअल टोकराइजेशन के साथ ग्राउंडेड मल्टीमॉडल लार्ज लैंग्वेज मॉडल

RAI फिजिकल AI रोबोटिक्स के लिए एक वेंडर-अज्ञेयवादी एजेंटिक फ्रेमवर्क है, जो जटिल कार्यों, परिभाषित परिदृश्यों, फ्री इंटरफ़ेस निष्पादन, लॉग सारांश, वॉयस इंटरैक्शन आदि को करने के लिए ROS 2 टूल्स का उपयोग करता है।

मल्टीमॉडल रूटिंग, जियोकोडिंग और मैप टाइल्स

LLaVA-Mini एक एकीकृत बड़ा मल्टीмодальный मॉडल (LMM) है जो छवियों, उच्च-रिज़ॉल्यूशन छवियों और वीडियो की समझ को कुशलता से समर्थन कर सकता है।

आपके ऐप के लिए सेल्फ-कोडिंग सिस्टम — React Native के लिए Alan AI SDK।

आंखों और कानों वाला एक MCP मल्टीमॉडल AI एजेंट!

सिचुएटेड इंटेलिजेंस के लिए प्लेटफॉर्म

बिना किसी अतिरिक्त निर्भरता के सादे C/C++ में CLIP इन्फरेंस

Flame एक ओपन-सोर्स मल्टीमॉडल AI सिस्टम है जिसे UI डिज़ाइन मॉकअप को उच्च-गुणवत्ता वाले React कोड में बदलने के लिए डिज़ाइन किया गया है। यह डिज़ाइन और फ्रंट-एंड डेवलपमेंट के बीच की खाई को पाटने के लिए विजन-लैंग्वेज मॉडलिंग, स्वचालित डेटा संश्लेषण और संरचित प्रशिक्षण वर्कफ़्लो का लाभ उठाता है।

VLM के साथ उपयोग किए जाने वाले विभिन्न उद्योग-विशिष्ट स्कीमा के लिए एक हब।

शानदार मल्टीमॉडल मॉडलिंग [MLLM, UMM, और NMM शामिल हैं]।

"EVF-SAM: Early Vision-Language Fusion for Text-Prompted Segment Anything Model" का आधिकारिक कोड