multi-modality

[NeurIPS'23 Oral] GPT-4V 수준 이상의 기능을 목표로 구축된 Visual Instruction Tuning (LLaVA).

:sparkles::sparkles: 멀티모달 대규모 언어 모델의 최신 발전 동향

🏄 CLIP을 사용한 이미지 및 문장의 확장 가능한 임베딩, 추론, 랭킹

MOSS-TTS-Nano는 MOSI.AI와 OpenMOSS 팀이 개발한 오픈소스 다국어 초소형 음성 생성 모델입니다. 0.1B(1억) 개의 파라미터만으로 실시간 음성 생성을 위해 설계되었으며, GPU 없이 CPU에서 직접 실행할 수 있고 로컬 데모, 웹 서빙, 경량 제품 통합을 위해 배포 스택을 충분히 단순하게 유지합니다.

🦦 Otter, OpenFlamingo(DeepMind Flamingo의 오픈소스 버전) 기반의 멀티모달 모델로, MIMIC-IT으로 학습되어 향상된 지시 따르기 및 문맥 내 학습 능력을 보여줍니다.

InternLM-XComposer2.5-OmniLive: 장기 스트리밍 비디오 및 오디오 상호작용을 위한 종합 멀티모달 시스템

3D 객체 추적 관련 알고리즘 및 논문

VLM을 활용한 파싱 없는 RAG

Long-RL: 긴 시퀀스로 RL 확장 (NeurIPS 2025)

[CVPR 2025] MINIMA: 모달리티 불변 이미지 매칭

챗봇 아레나가 멀티모달을 만나다! Multi-Modality Arena는 이미지를 입력으로 사용하여 비전-언어 모델을 나란히 비교하고 벤치마킹할 수 있게 해줍니다. MiniGPT-4, LLaMA-Adapter V2, LLaVA, BLIP-2 등 다양한 모델을 지원합니다!