multi-modal

보고, 이해하고, 신뢰할 수 있는 에이전트를 빌드하고 실행하세요.

스마트폰에서 초고효율 이미지 및 비디오 이해를 위한 포켓 사이즈 MLLM

대화형 음성 AI 에이전트를 위한 오픈소스 프레임워크

[CVPR 2024 Oral] InternVL 패밀리: GPT-4o를 대체하는 선구적인 오픈소스 대안. GPT-4o에 준하는 성능을 가진 오픈소스 멀티모달 대화형 모델

ModelScope: Model-as-a-Service 개념을 현실화합니다.

최첨단 모델을 기반으로 고급 AI/AGI 기능을 제공하는 AI 스위트. AI 페르소나, AGI 기능, 최고 수준의 Beam 멀티 모델 채팅, 텍스트-이미지 변환, 음성, 응답 스트리밍, 코드 강조 및 실행, PDF 가져오기, 개발자용 프리셋 등을 포함합니다. 온프레미스 또는 클라우드에 배포할 수 있습니다.

파운데이션 모델을 위한, 그리고 모델과 함께하는 데이터 처리! 🍎 🍋 🌽 ➡️ ➡️🍸 🍹 🍷

최첨단 수준의 오픈 시각 언어 모델 | 멀티모달 사전 학습 모델

OpenStreetMap을 위한 오픈소스 라우팅 엔진

중국어 교차 모달 검색 및 표현 생성을 달성하는 CLIP의 중국어 버전

PyTorch로 구현/재현한 OpenAI의 텍스트-이미지 변환기 DALL-E

이커머스 검색 및 탐색 - marqo.ai

[EMNLP 2022] 지식 그래프 추출 및 구축을 위한 오픈 툴킷

대규모 멀티모달 모델(LMM)을 위한 오픈소스 평가 툴킷, 220개 이상의 LMM과 80개 이상의 벤치마크 지원

OmniGen: 통합 이미지 생성. https://arxiv.org/pdf/2409.11340

중영 다중 모달 대화형 언어 모델

로컬 기기에서 LLM(🦙LLaMA/LLaVA)을 효율적으로 실행하기 위한 C#/.NET 라이브러리.

【EMNLP 2024🔥】Video-LLaVA: 투영 전 정렬을 통한 통합 시각 표현 학습

MCP 통합, 멀티모달 워크플로, IoT 지원, 크로스 플랫폼 음성 상호작용을 갖춘 오픈소스 AI 어시스턴트 생태계입니다.

멀티모달 데이터 표현, 전송, 저장 및 검색

"LISA: Reasoning Segmentation via Large Language Model" 프로젝트 페이지

Llama3-8B 기반의 GPT4V 수준 오픈소스 멀티모달 모델

【TMM 2025🔥】 대형 비전-언어 모델을 위한 Mixture-of-Experts

추천, 광고, 검색 분야의 산업계 고전 및 최신 논문 모음입니다.

[NeurIPS 2023] MotionGPT: LLM을 사용한 통합 모션-언어 생성 모델인 외국어로서의 휴먼 모션

Discord를 위한 강력한 올인원 GPT 인터페이스. ChatGPT 스타일 대화, 이미지 생성, AI 모더레이션, 커스텀 색인/지식 베이스, 유튜브 요약 등 제공!

SALMONN 제품군: 고급 멀티모달 LLM 모음

[pip install medmnist] 2D 및 3D 생체 의학 이미지 분류를 위한 18개의 표준화된 데이터셋

MetaAI의 논문 "Predict the Next Token and Diffuse Images with One Multi-Modal Model"에 등장하는 Transfusion의 PyTorch 구현체입니다.

이 저장소는 "대규모 언어 모델의 지식 증류에 관한 조사(A Survey on Knowledge Distillation of Large Language Models)" 관련 논문을 수집합니다. 지식 증류(KD)를 지식 도출 및 증류 알고리즘으로 세분화하고, LLM의 기술 및 버티컬 증류를 탐구합니다.