multi-modal

見て、理解し、信頼できるエージェントを構築・実行する。

スマートフォン上で超効率的な画像・動画理解を実現するポケットサイズのMLLM

会話型音声AIエージェントのためのオープンソースフレームワーク

[CVPR 2024 Oral] InternVL Family: GPT-4oに匹敵する画期的なオープンソース代替モデル。GPT-4oの性能に迫るオープンソースのマルチモーダル対話モデル。

ModelScope: Model-as-a-Serviceの概念を具現化。

最先端のモデルを搭載したAIスイート。高度なAI/AGI機能を提供します。AIペルソナ、AGI機能、世界クラスのBeamマルチモデルチャット、テキストから画像、音声、レスポンスストリーミング、コードハイライトと実行、PDFインポート、開発者向けプリセットなど、多数の機能が含まれます。オンプレミスまたはクラウドにデプロイ可能。

基盤モデルのための、そして基盤モデルを使ったデータ処理！ 🍎 🍋 🌽 ➡️ ➡️🍸 🍹 🍷

最先端レベルのオープンビジュアル言語モデル | マルチモーダル事前学習モデル

OpenStreetMap向けオープンソースルーティングエンジン

中国語のCLIP版。中国語のクロスモーダル検索と表現生成を実現。

OpenAIのText to Image TransformerであるDALL-Eの実装/複製をPytorchで行う

Eコマースの検索と発見 - marqo.ai

[EMNLP 2022] 知識グラフ抽出および構築のためのオープンツールキット

大規模マルチモーダルモデル (LMMs) のオープンソース評価ツールキット。220以上のLMM、80以上のベンチマークをサポート。

OmniGen: 統合画像生成。https://arxiv.org/pdf/2409.11340

中国語と英語のマルチモーダル対話型言語モデル | 多様な中国語・英語の会話言語モデル

LLM (🦙LLaMA/LLaVA) をローカルデバイスで効率的に実行するためのC#/.NETライブラリ。

【EMNLP 2024🔥】Video-LLaVA: Learning United Visual Representation by Alignment Before Projection

MCP統合、マルチモーダルワークフロー、IoTサポート、クロスプラットフォーム音声対話を備えたオープンソースAIアシスタントエコシステム。

マルチモーダルデータの表現、送信、保存、検索

「LISA: Reasoning Segmentation via Large Language Model」のプロジェクトページ

Llama3-8BをベースにしたGPT4Vレベルのオープンソースマルチモーダルモデル

大規模視覚言語モデルのための Mixture-of-Experts

推薦、広告、検索分野における業界の古典および最先端の論文集

[NeurIPS 2023] MotionGPT: LLMを用いた、人間モーションを外国語に見立てた統合型モーション・言語生成モデル

Discord 向けの高機能でオールインワンな GPT インターフェース。ChatGPT スタイルの会話、画像生成、AI モデレーション、カスタムインデックス／ナレッジベース、YouTube 要約などに対応！

SALMONN ファミリー：高度なマルチモーダル LLM のスイート

[pip install medmnist] 2Dおよび3Dの生物医学画像分類向けの18個の標準化されたデータセット

MetaAIによる論文「Transfusion: Predict the Next Token and Diffuse Images with One Multi-Modal Model」のPytorch実装

このリポジトリは「Large Language Models の知識蒸留に関する調査」の論文を集めたものです。知識蒸留を知識誘出と蒸留アルゴリズムに分解し、LLM のスキルおよび垂直方向の蒸留を探索します