multimodal

MOSS-Audio adalah model dasar sumber terbuka untuk pemahaman audio terpadu, yang memungkinkan ucapan, suara, musik, pemberian keterangan, tanya jawab, dan penalaran dalam skenario dunia nyata.

✨✨Makalah dan tolok ukur terbaru dalam penalaran dengan Foundation Models

Implementasi resmi SEED-LLaMA (ICLR 2024).

Halaman Proyek untuk "Seg-Zero: Reasoning-Chain Guided Segmentation via Cognitive Reinforcement"

👁️ + 💬 + 🎧 = 🤖 Daftar pilihan model fondasi dan multimodal teratas! [Makalah + Kode + Contoh + Tutorial]

Second Brain adalah kerangka kerja agen yang berfungsi sebagai sistem operasi, menggunakan kecerdasan file lokal, otomatisasi alur kerja, dan LLM untuk menyelesaikan tugas serta berkomunikasi melalui berbagai modalitas dan platform pesan.

Implementasi resmi untuk "Blended Latent Diffusion" [SIGGRAPH 2023]

Repositori ini menyediakan program untuk membangun kode Retrieval Augmented Generation (RAG) bagi AI Generatif dengan LlamaIndex, Deep Lake, dan Pinecone, memanfaatkan kekuatan model OpenAI dan Hugging Face untuk pembuatan dan evaluasi.

Jelajahi “Aha Moment” Multimodal pada Model 2B

Hunyuan3D-Omni: Kerangka Kerja Terpadu untuk Pembuatan Aset 3D yang Dapat Dikontrol

An open-weight 11B model series for long-form and real-time video understanding

[ECCV 2024] Tokenisasi apa pun melalui prompting

Mesin Reinforcement Learning Asinkron untuk Post-Training Omni-Modal berskala besar.

Repositori ini berisi kode evaluasi untuk makalah "MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI"

Implementasi resmi untuk "Blended Diffusion for Text-driven Editing of Natural Images" [CVPR 2022]

Buat otomatisasi peramban seolah-olah Anda mengajari manusia menggunakan GPT-4 Vision.

[ECCV2024] Grounded Multimodal Large Language Model dengan Tokenisasi Visual Terlokalisasi

RAI adalah kerangka kerja agen agnostik vendor untuk robotika AI Fisik, memanfaatkan alat ROS 2 untuk melakukan tindakan kompleks, skenario terdefinisi, eksekusi antarmuka bebas, ringkasan log, interaksi suara, dan lainnya.

perutean multimodal, geocoding, dan ubin peta

LLaVA-Mini adalah model multimodal besar (LMM) terpadu yang dapat mendukung pemahaman gambar, gambar beresolusi tinggi, dan video secara efisien.

Agen AI Multimodal MCP dengan mata dan telinga!

Sistem pengodean mandiri untuk aplikasi Anda — Alan AI SDK untuk React Native

Platform untuk Situated Intelligence

Inferensi CLIP dalam C/C++ murni tanpa dependensi tambahan

Flame adalah sistem AI multimodal sumber terbuka yang dirancang untuk menerjemahkan maket desain UI ke dalam kode React berkualitas tinggi. Sistem ini memanfaatkan pemodelan bahasa-visi, sintesis data otomatis, dan alur kerja pelatihan terstruktur untuk menjembatani kesenjangan antara desain dan pengembangan front-end.

Pusat untuk berbagai skema khusus industri yang akan digunakan dengan VLM.

Awesome Multimodal Modeling [Mencakup MLLM, UMM, dan NMM]

Kode resmi untuk "EVF-SAM: Early Vision-Language Fusion for Text-Prompted Segment Anything Model"