multimodal-large-language-models

Kemajuan terbaru dalam Multimodal Large Language Models

Mobile-Agent: Keluarga Agen GUI yang Kuat

StarVector adalah model dasar untuk pembuatan SVG yang mengubah vektorisasi menjadi tugas pembuatan kode. Menggunakan arsitektur pemodelan visi-bahasa, StarVector memproses input visual dan tekstual untuk menghasilkan kode SVG berkualitas tinggi dengan presisi luar biasa.

LLaMA-Omni adalah model interaksi ucapan ujung-ke-ujung berlatensi rendah dan berkualitas tinggi yang dibangun di atas Llama-3.1-8B-Instruct, yang bertujuan untuk mencapai kemampuan ucapan setara GPT-4o.

Kerangka kerja penstrukturan video (analisis video) lintas platform berbasis model CV & mLLM.

✨✨[NeurIPS 2025] VITA-1.5: Menuju Interaksi Visi dan Suara Real-Time setingkat GPT-4o.

mPLUG-DocOwl: Model Bahasa Besar Multimodal Modular untuk Pemahaman Dokumen

Cambrian-1 adalah keluarga LLM multimodal dengan desain yang berpusat pada visi.

[ICML 2024] Menguasai Difusi Teks-ke-Gambar: Pembuatan Keterangan Ulang, Perencanaan, dan Pembuatan dengan LLM Multimodal (RPG)

Seed1.5-VL, model dasar visi-bahasa yang dirancang untuk memajukan pemahaman dan penalaran multimodal serbaguna, mencapai performa terbaik pada 38 dari 60 tolok ukur publik.

Arsitektur Multimodal Large Language Model (MLLM) baru, yang dirancang untuk menyelaraskan embedding visual dan tekstual secara struktural.

Kumpulan Model Multimodal Terpadu yang Hebat

Digital human interaktif suara secara real-time, dengan tampilan dan suara yang dapat disesuaikan, mendukung kloning suara, serta latensi dialog serendah 3 detik.

Implementasi PyTorch dari Audio Flamingo: Seri Model Bahasa Pemahaman Audio Tingkat Lanjut

Kerangka kerja untuk Pemrosesan Ucapan, Bahasa, Audio, dan Musik dengan Large Language Model.

Keluarga model multimodal yang ringan.

Penalaran Multimodal Chain-of-Thought: Survei Komprehensif

Kumpulan sumber daya tentang penerapan pembelajaran multi-modal dalam pencitraan medis.

NEO Series: Model Visi-Bahasa native yang dibangun dari prinsip dasar.

✨✨[CVPR 2025] Video-MME: Benchmark Evaluasi Komprehensif Pertama untuk LLM Multimodal dalam Analisis Video

LLaVA-Plus: Asisten Bahasa dan Visi Besar yang Dapat Dipasang dan Belajar Menggunakan Keterampilan

[CVPR 2024] MovieChat: Dari Token Padat ke Memori Jarang untuk Pemahaman Video Panjang

Model Representasi Visual Skala Besar

Proyek Pribadi: MPP-Qwen14B & MPP-Qwen-Next (Multimodal Pipeline Parallel berdasarkan Qwen-LM). Mendukung [video/gambar/multi-gambar] {sft/percakapan}. Jangan biarkan kemiskinan membatasi imajinasi Anda! Latih MLLM mirip pelatihan LLaVA 8B/14B Anda sendiri di RTX3090/4090 24GB.

OmniVinci adalah LLM omni-modal untuk pemahaman bersama visi, audio, dan bahasa.

Woodpecker: Koreksi halusinasi untuk Multimodal Large Language Models

(Diterima oleh IJCV) Liquid: Model Bahasa adalah Generator Multimodal yang Skalabel dan Terpadu

Makalah NeurIPS 2024: Vision LLM tingkat piksel terpadu untuk pemahaman, pembuatan, segmentasi, dan pengeditan

LLaVA-Mini adalah model multimodal besar (LMM) terpadu yang dapat mendukung pemahaman gambar, gambar beresolusi tinggi, dan video secara efisien.

Cambrian-S: Menuju Spatial Supersensing dalam Video