multimodal-large-language-models

:sparkles::sparkles: 멀티모달 대규모 언어 모델의 최신 발전 동향

Mobile-Agent: 강력한 GUI 에이전트 패밀리

StarVector는 벡터화를 코드 생성 작업으로 변환하는 SVG 생성 기초 모델입니다. 비전-언어 모델링 아키텍처를 사용하여 시각 및 텍스트 입력을 모두 처리하고 놀라운 정밀도로 고품질 SVG 코드를 생성합니다.

LLaMA-Omni는 Llama-3.1-8B-Instruct 기반의 저지연 고품질 엔드투엔드 음성 상호작용 모델로, GPT-4o 수준의 음성 기능 구현을 목표로 합니다.

CV 모델 및 mLLM 기반의 크로스 플랫폼 비디오 구조화(비디오 분석) 프레임워크

✨✨[NeurIPS 2025] VITA-1.5: GPT-4o 수준의 실시간 비전 및 음성 상호작용 지향

mPLUG-DocOwl: 문서 이해를 위한 모듈식 멀티모달 대형 언어 모델

Cambrian-1은 비전 중심 설계가 적용된 멀티모달 LLM 패밀리입니다.

[ICML 2024] Mastering Text-to-Image Diffusion: Recaptioning, Planning, and Generating with Multimodal LLMs (RPG)

Seed1.5-VL은 범용 멀티모달 이해 및 추론 능력을 향상시키기 위해 설계된 비전-언어 파운데이션 모델로, 60개의 공개 벤치마크 중 38개에서 최고 수준(SOTA)의 성능을 달성했습니다.

시각 및 텍스트 임베딩을 구조적으로 정렬하도록 설계된 새로운 멀티모달 대형 언어 모델(MLLM) 아키텍처입니다.

멋진 통합 멀티모달 모델 모음

외형과 음성을 맞춤 설정할 수 있고 음성 복제를 지원하며 대화 지연 시간이 3초에 불과한 실시간 음성 대화형 디지털 휴먼.

Audio Flamingo의 PyTorch 구현: 고급 오디오 이해 언어 모델 시리즈

대형 언어 모델을 활용한 음성, 언어, 오디오, 음악 처리 프레임워크

경량 멀티모달 모델 패밀리.

멀티모달 사고의 연쇄(Multimodal Chain-of-Thought) 추론: 종합 조사

의료 영상 분야의 멀티모달 학습 응용 사례 모음

NEO 시리즈: 기본 원칙부터 설계된 네이티브 비전-언어 모델입니다.

[CVPR 2025] Video-MME: 비디오 분석 분야 멀티모달 LLM을 위한 최초의 종합 평가 벤치마크

LLaVA-Plus: 플러그인을 통해 기술을 학습하고 사용하는 대규모 언어 및 비전 어시스턴트

[CVPR 2024] MovieChat: 롱 비디오 이해를 위한 촘촘한 토큰에서 희소 메모리로의 전환

대규모 시각 표현 모델

개인 프로젝트: MPP-Qwen14B 및 MPP-Qwen-Next(Qwen-LM 기반 다중 모달 파이프라인 병렬 처리). 비디오/이미지/다중 이미지 SFT 및 대화를 지원하며, RTX3090/4090 24GB 환경에서 8B/14B LLaVA 스타일 MLLM을 학습할 수 있습니다.

OmniVinci는 시각, 오디오, 언어를 공동으로 이해하기 위한 범용 모달 LLM입니다.

Woodpecker: 멀티모달 대규모 언어 모델을 위한 환각 현상 교정 도구

(IJCV 채택) Liquid: 확장 가능하고 통합된 멀티모달 생성 언어 모델.

LLaVA-Mini는 이미지, 고해상도 이미지 및 비디오 이해를 효율적으로 지원하는 통합 대규모 멀티모달 모델(LMM)입니다.

NeurIPS 2024 논문: 이해, 생성, 세분화, 편집을 위한 통합 픽셀 레벨 Vision LLM

Cambrian-S: 비디오 내 공간 초감각(Spatial Supersensing)을 향하여