multimodal

파운데이션 모델의 추론 관련 최신 논문 및 벤치마크

MOSS-Audio는 통합 오디오 이해를 위한 오픈 소스 파운데이션 모델로, 실제 환경에서 음성, 소리, 음악, 캡션, QA 및 추론 기능을 제공합니다.

SEED-LLaMA (ICLR 2024) 공식 구현체

Seg-Zero: 추론 체인 기반 인지 강화 세분화 프로젝트 페이지

주요 파운데이션 및 멀티모달 모델을 정리한 큐레이션 리스트 (논문, 코드, 예제, 튜토리얼 포함)

Second Brain은 로컬 파일 인텔리전스, 워크플로우 자동화, LLM을 활용하여 작업을 완료하고 다양한 모달리티 및 메시징 플랫폼에서 통신하는 에이전트 프레임워크이자 운영 체제임

"Blended Latent Diffusion" [SIGGRAPH 2023] 공식 구현체

LlamaIndex, Deep Lake, Pinecone을 사용하여 생성형 AI를 위한 RAG 코드를 구축하고, OpenAI 및 Hugging Face 모델을 활용해 생성 및 평가를 수행하는 프로그램 저장소

2B 모델에서 멀티모달 '아하 모멘트(Aha Moment)' 탐색

Hunyuan3D-Omni: 3D 에셋의 제어 가능한 생성을 위한 통합 프레임워크

An open-weight 11B model series for long-form and real-time video understanding

[ECCV 2024] 프롬프팅을 통한 모든 것의 토큰화(Tokenize Anything via Prompting)

대규모 전모달 사후 학습을 위한 비동기 강화 학습 엔진

이 저장소는 "MMMU: 전문가 수준 AGI를 위한 대규모 다학제 멀티모달 이해 및 추론 벤치마크" 논문의 평가 코드를 포함합니다.

Blended Diffusion for Text-driven Editing of Natural Images [CVPR 2022] 공식 구현체

[ECCV2024] 로컬라이즈된 시각적 토큰화를 갖춘 접지형 멀티모달 대규모 언어 모델

GPT-4 Vision을 사용하여 마치 사람을 가르치듯 브라우저 자동화를 생성합니다.

RAI는 물리적 AI 로봇 공학을 위한 벤더 중립적 에이전트 프레임워크로, ROS 2 도구를 활용하여 복잡한 작업 수행, 시나리오 정의, 자유 인터페이스 실행, 로그 요약, 음성 상호작용 등을 지원합니다.

멀티모달 라우팅, 지오코딩 및 지도 타일 서비스입니다.

LLaVA-Mini는 이미지, 고해상도 이미지 및 비디오 이해를 효율적으로 지원하는 통합 대규모 멀티모달 모델(LMM)입니다.

앱을 위한 셀프 코딩 시스템 — React Native용 Alan AI SDK.

보고 들을 수 있는 MCP 멀티모달 AI 에이전트!

Situated Intelligence를 위한 플랫폼

추가 의존성 없이 순수 C/C++로 구현된 CLIP 추론

Flame은 UI 디자인 목업을 고품질 React 코드로 변환하도록 설계된 오픈소스 멀티모달 AI 시스템. 비전-언어 모델링, 자동화된 데이터 합성 및 구조화된 학습 워크플로우를 활용하여 디자인과 프론트엔드 개발 간의 격차를 해소

VLM과 함께 사용할 수 있는 다양한 산업별 스키마 허브

Awesome Multimodal Modeling [MLLM, UMM 및 NMM 포함]

EVF-SAM: Early Vision-Language Fusion for Text-Prompted Segment Anything Model 공식 코드