multimodal

stability.ai API と連携するための SDK（Stable Diffusion の推論など）

mPLUG-DocOwl: 文書理解のためのモジュール式マルチモーダル大規模言語モデル

[ECCV2024] マルチモーダル理解のためのビデオ基盤モデルとデータ

🎨 NeMo Data Designer: スクラッチまたはシードデータから高品質な合成データを生成する。

効率的かつ並列的なコンテンツ処理を可能にする、軽量な Python ライブラリの GenAI Processors。

URL またはローカルファイルから、Claude（または任意の LLM）に実際に動画を視聴させる。シーン認識、重複排除されたフレーム + トランスクリプト。ローカルで実行、MIT ライセンス。

GPT-Live と同様の機能を備えた、デバイス上のリアルタイムマルチモーダル AI

[ICLR & NeurIPS 2025] マルチモーダルな理解と生成を統合する単一のTransformer、Show-oシリーズのリポジトリ。

Alibaba Cloud の Qwen-VL シリーズを微調整（ファインチューニング）するためのオープンソース実装

PyTorchによる「BitNet: Scaling 1-bit Transformers for Large Language Models」の実装

Advanced Literate Machinery に向けた独創的で革新的なアイデアとアルゴリズムのコレクション。このプロジェクトは Alibaba Group 達摩院言語技術ラボ OCR チームによって維持されています。

TikZを使用した、科学的図解およびスケッチのためのグラフィックスプログラムの合成

アプリのためのセルフコーディングシステム — Android用 Alan AI SDK

アプリ向けセルフコーディングシステム — Flutter 用 Alan AI SDK

アプリのためのセルフコーディングシステム — Ionic 向け Alan AI SDK

AI データアプリ向けの統合マルチモーダルバックエンド

モバイル端末向けの高速なマルチモーダル LLM

ビジョン言語モデルを活用し、複雑なドキュメントからクリーンなデータを抽出する ⚡

視覚的埋め込みとテキスト的埋め込みを構造的に整合させるように設計された、新規のマルチモーダル大規模言語モデル (MLLM) アーキテクチャ

自宅のためのビジュアルインテリジェンス。

日本語LLMまとめ - 日本語LLMの概要

手書き文字生成のための「Disentangling Writer and Character Styles for Handwriting Generation (CVPR 2023)」の公式実装リポジトリです。

WeMM-Embedding is a family of universal multimodal embedding models by the WeChat Vision Team at Tencent, supporting multimodal understanding and retrieval.

画像、リアルタイム音声会話、LLM を活用したチャットボット、自動化ワークフローのためのオフライン推論エンジン。

155種類以上のビジョン・言語モデル（VLM/MLLM）アーキテクチャのキュレーションされたビジュアルカタログ：論文、図解、学習レシピ、データセット、マルチモーダルAIエージェントのリリース年表。

Claudeに動画の視聴と理解能力を付与する — フレーム抽出とマルチモーダル音声分析を備えた Claude Code プラグイン

多言語のテキスト、画像、動画を対象としたコンテンツ理解と生成のためのポケットサイズマルチモーダルAI。OpenAI CLIPやLLaVAと比較して最大5倍高速

Xtreme1は、マルチモーダルデータ学習向けのオールインワンのデータラベリング・アノテーションプラットフォームであり、3D LiDAR点群、画像、LLMをサポートしています。

言語モデルによる 3D メッシュ生成の統合

視覚的理解により、ドキュメントを AI 対応の Markdown に変換する