multi-modality

[NeurIPS'23 Oral] Visual Instruction Tuning (LLaVA) yang dibangun untuk mencapai kemampuan setingkat GPT-4V dan seterusnya.

Kemajuan terbaru dalam Multimodal Large Language Models

Embedding, penalaran, dan pemeringkatan yang skalabel untuk gambar dan kalimat dengan CLIP

MOSS-TTS-Nano adalah model generasi ucapan mini multibahasa sumber terbuka dari MOSI.AI dan tim OpenMOSS. Dengan hanya 0,1 miliar parameter, model ini dirancang untuk pembuatan ucapan waktu nyata, dapat berjalan langsung di CPU tanpa GPU, dan menjaga tumpukan penyebaran tetap sederhana untuk demo lokal, layanan web, dan integrasi produk ringan.

Otter, model multi-modal berbasis OpenFlamingo (versi open-source dari Flamingo milik DeepMind), dilatih pada MIMIC-IT dan menunjukkan peningkatan kemampuan mengikuti instruksi serta pembelajaran dalam konteks.

InternLM-XComposer2.5-OmniLive: Sistem multimodal komprehensif untuk interaksi video dan audio streaming jangka panjang

Algoritma dan Publikasi tentang Pelacakan Objek 3D

RAG tanpa parsing yang didukung oleh VLM.

Long-RL: Menskalakan RL ke urutan panjang (NeurIPS 2025)

[CVPR 2025] MINIMA: Pencocokan Gambar Invarian Modalitas

Chatbot Arena bertemu dengan multimodalitas! Multi-Modality Arena memungkinkan Anda membandingkan model visi-bahasa secara berdampingan sambil menyediakan gambar sebagai masukan. Mendukung MiniGPT-4, LLaMA-Adapter V2, LLaVA, BLIP-2, dan banyak lagi!