multimodal

stability.ai API와 상호작용하기 위한 SDK (예: stable diffusion 추론)

mPLUG-DocOwl: 문서 이해를 위한 모듈식 멀티모달 대형 언어 모델

[ECCV2024] 멀티모달 이해를 위한 비디오 파운데이션 모델 및 데이터

🎨 NeMo Data Designer: 처음부터 또는 시드 데이터를 사용하여 고품질 합성 데이터 생성.

GenAI Processors는 효율적인 병렬 콘텐츠 처리를 지원하는 경량 Python 라이브러리입니다.

Claude(또는 기타 LLM)가 URL이나 로컬 파일에서 텍스트와 함께 장면 인식 기능 및 중복이 제거된 프레임을 통해 동영상을 실제로 시청할 수 있도록 지원합니다. 로컬에서 실행되며, MIT 라이선스입니다.

GPT-Live와 유사한 기능을 갖춘 온디바이스 실시간 멀티모달 AI

[ICLR & NeurIPS 2025] 멀티모달 이해와 생성을 통합하는 단일 Transformer인 Show-o 시리즈 저장소입니다.

Alibaba Cloud의 Qwen-VL 시리즈 파인튜닝을 위한 오픈소스 구현체입니다.

pytorch로 구현한 "BitNet: 대규모 언어 모델을 위한 1비트 트랜스포머 확장"

고급 리터러트 머시너리(Advanced Literate Machinery)를 위한 독창적이고 혁신적인 아이디어 및 알고리즘 모음입니다. 이 프로젝트는 Alibaba Group Tongyi Lab Language Technology Lab의 OCR 팀에서 유지 관리합니다.

TikZ를 활용한 과학 도표 및 스케치용 그래픽 프로그램 합성

앱을 위한 셀프 코딩 시스템 — 안드로이드용 Alan AI SDK

앱을 위한 자체 코딩 시스템 — Flutter용 Alan AI SDK

앱을 위한 셀프 코딩 시스템 — Ionic용 Alan AI SDK

AI 데이터 앱을 위한 통합 멀티모달 백엔드

모바일 기기용 고속 멀티모달 LLM

비전 언어 모델을 기반으로 복잡한 문서에서 깔끔한 데이터 추출 ⚡

시각 및 텍스트 임베딩을 구조적으로 정렬하도록 설계된 새로운 멀티모달 대형 언어 모델(MLLM) 아키텍처입니다.

가정을 위한 시각 지능.

일본어 LLM 모음 - Overview of Japanese LLMs

이 저장소는 손글씨 생성을 위한 필체와 문자 스타일 분리(Disentangling Writer and Character Styles for Handwriting Generation, CVPR 2023)의 공식 구현입니다.

WeMM-Embedding is a family of universal multimodal embedding models by the WeChat Vision Team at Tencent, supporting multimodal understanding and retrieval.

이미지 생성, 실시간 음성 대화, LLM 기반 챗봇 및 자동화된 워크플로우를 위한 오프라인 추론 엔진

155개 이상의 시각-언어 모델(VLM/MLLM) 아키텍처를 엄선한 시각적 카탈로그: 멀티모달 AI 에이전트를 위한 논문, 다이어그램, 학습 레시피, 데이터셋 및 출시 타임라인.

Claude에게 동영상을 시청하고 이해할 수 있는 능력을 부여하세요 — 프레임 추출 및 멀티모달 오디오 분석 기능이 포함된 Claude Code 플러그인

다국어 텍스트, 이미지, 비디오 전반의 콘텐츠 이해 및 생성을 위한 포켓 사이즈 멀티모달 AI, OpenAI CLIP 및 LLaVA보다 최대 5배 빠름 🖼️ & 🖋️

Xtreme1은 멀티모달 데이터 학습을 위한 올인원 데이터 레이블링 및 주석 플랫폼이며 3D LiDAR 포인트 클라우드, 이미지 및 LLM을 지원합니다.

언어 모델을 활용한 3D Mesh 생성 통합

시각적 이해를 통해 문서를 AI 학습용 Markdown으로 변환