multimodal

Toolkit visual dan skill yang dirancang untuk model teks murni agar bisa "melihat", mendukung pemahaman multi-gambar, tanya jawab gambar, restorasi UI frontend, otomatisasi GUI, dan integrasi opsional yang mulus dengan berbagai agen utama serta pengenalan gambar tempel secara langsung.

Sistem Pengodean Mandiri untuk Aplikasi Anda — Alan AI SDK untuk Cordova

SGLang-Omni mendukung penyajian berkinerja tinggi untuk model TTS, ASR, ucapan, dan omni.

MOVA: Menuju Pembuatan Video-Audio yang Dapat Diskalakan dan Disinkronkan.

Mata untuk agen DeepSeek Harness khusus teks: rantai visi gratis bawaan (tanpa kunci) + alat visi tingkat piksel (Tanya Jawab, grounding, potong, perbedaan piksel, warna, OCR, penelusuran SVG, guntingan, tangkapan layar). Instalasi satu perintah, tanpa Python, pekerjaan gambar berfungsi seperti giliran pemanggilan alat biasa.

Basis kode untuk Aria - Open Multimodal Native MoE

🩺 Model medis multimodal bahasa Mandarin pertama yang dapat membaca rontgen dada | Model Multimodal Medis Tiongkok pertama untuk Ringkasan Radiografi Dada.

[Sorotan ICLR'24] Seri Model Besar Multimodal Bahasa Mandarin dan Inggris (Chat dan Paint) | Berdasarkan model dasar CPM

Model representasi umum lintas modalitas visi, audio, dan bahasa. Makalah: ONE-PEACE: Exploring One General Representation Model Toward Unlimited Modalities

[Kandidat Best Paper ECCV 2024 & TPAMI 2025] PointLLM: Memberdayakan Large Language Models untuk memahami Point Clouds.

Implementasi resmi untuk "CLIP4Clip: An Empirical Study of CLIP for End to End Video Clip Retrieval"

Penalaran Multimodal Chain-of-Thought: Survei Komprehensif

TongFlow — Studio GenAI Multimodal.

Sumber daya, contoh, dan tutorial untuk AI multimodal, RAG, dan agen menggunakan pencarian vektor serta LLM

Kerangka kerja pelatihan RL multimodal untuk model diffusion & omni

RAG Time: Perjalanan Belajar 5 Minggu untuk Menguasai RAG

Tentang Repositori ini adalah koleksi pilihan dari makalah CVPR 2025 yang paling menarik dan berpengaruh. 🔥 [Paper + Code + Demo]

NEO Series: Model Visi-Bahasa native yang dibangun dari prinsip dasar.

Kode untuk "AnyGPT: Unified Multimodal LLM with Discrete Sequence Modeling"

⚡ Pemecah captcha yang kompatibel dengan YesCaptcha yang dapat di-host sendiri, dibangun dengan FastAPI, Playwright, dan model multimodal yang kompatibel dengan OpenAI.

Mesin pelatihan model multimodal yang sederhana dan terpadu. Ringan, fleksibel, dan dirancang untuk peretasan skala besar.

[TMLR 2025🔥] Survei untuk model autoregresif dalam visi.

Pustaka yang mendukung penelitian NLP dan CV pada makalah ilmiah

Melatih Model secara Kontrastif di PyTorch

Pemantauan lokal + Visi AI — Kerangka kerja pemantauan AI berbasis LAN yang didukung ponsel cerdas dengan keluaran peristiwa terstruktur untuk akuisisi dan analisis data.

Daftar makalah tentang model multimodal dan bahasa besar, hanya digunakan untuk mencatat makalah yang saya baca di arXiv harian untuk kebutuhan pribadi.

[ECCV 2024] InstructIR: Restorasi gambar berkualitas tinggi mengikuti instruksi manusia https://huggingface.co/spaces/marcosv/InstructIR

Integrasi dan Eksplorasi Multimodal Paddle, mendukung tugas multimodal arus utama, termasuk model pra-pelatihan multimodal skala besar end-to-end dan kotak alat model difusi. Dilengkapi dengan kinerja tinggi dan fleksibilitas.

Kotak Alat untuk Rekomendasi MultiModal. Mengintegrasikan 10+ Model...

Repositori ini berisi kode untuk "VLM2Vec / MMEB" [ICLR 2025], "VLM2Vec-V2 / MMEB-V2" [TMLR 2026], dan "MMEB-V3" [COLM 2026]