multimodal

Tree of Thoughtsのプラグアンドプレイ実装：大規模言語モデルによる熟考的な問題解決でモデルの推論能力を少なくとも70%向上

大規模言語モデル (Large Language Models)、AIペインティングなどの厳選されたチュートリアルとリソース。

大量の画像URLを簡単に画像データセットに変換可能。1台のマシンで1億件のURLを20時間でダウンロード、リサイズ、パッケージ化できる。

テキスト、画像、ビデオ、オーディオタスクを網羅するオールインワンのマルチモーダル評価ツールキット

Fengshenbang-LM（封神榜大模型）は、IDEA研究院の認知計算と自然言語研究センターが主導する大規模モデルのオープンソースシステムであり、中国語のAIGCおよび認知インテリジェンスの基盤インフラとなっています。

MOSS‑TTSファミリーは、MOSI.AIとOpenMOSSチームによるオープンソースの音声・音響生成モデルファミリーです。高忠実度、高表現力、複雑な実世界シナリオ向けに設計されており、安定した長尺音声、マルチスピーカー対話、ボイス/キャラクターデザイン、環境音エフェクト、リアルタイムストリーミングTTSを網羅しています。

OpenMMLabの事前学習用ツールボックスおよびベンチマーク

DeepSeek Harness 向けの最初のビジョンプラグインであり、すべてのテキスト専用コーディングエージェントのためのビジョンブリッジ。画像を貼り付けるだけで、構造化された JSON のエビデンス（OCR、レイアウト、セマンティクス）を取得できます。

SimpleMem: LLMエージェントのための効率的な生涯記憶 — テキスト＆マルチモーダル

オープンソースのマルチモーダル検索エンジン (Morphik Core)。Morphikによる提供 — 熟練看護・高齢者生活のためのAIバックオフィス (morphik.ai)。

Chain-of-ThoughtプロンプティングからOpenAI o1、DeepSeek-R1まで 🍓

ICML 2024論文「NExT-GPT: Any-to-Any Multimodal Large Language Model」のコードとモデル。

MTEB：言語およびモダリティを横断した埋め込みの最先端評価

InternGPT (iGPT) は、AI モデルを簡単に公開できるオープンソースのデモプラットフォームです。DragGAN、ChatGPT、ImageBind、GPT-4 のようなマルチモーダルチャット、SAM、インタラクティブな画像編集などをサポートしています。igpt.opengvlab.com でお試しください。

列指向圧縮のための拡張可能で最先端なフレームワークであり、最速のFOSS列指向ファイル形式。元々は@spiraldbに属し、現在はLinux Foundation傘下のLFAI&Dataのインキュベーションステージプロジェクトです。

(M)LLM向けの基礎アーキテクチャ

マルチモーダルデータの表現、送信、保存、検索

[NeurIPS 2024] OSWorld: 実コンピュータ環境におけるオープンエンドなタスクのためのマルチモーダルエージェントのベンチマーク

🤖 OpenAI、Anthropic、Gemini、React、Vue、Svelte、Solidに対応し、ストリーミングチャット、ツール呼び出し、エージェント、マルチモーダルアプリを構築するための、型安全でプロバイダー非依存なTypeScript AI SDK

InternLM-XComposer2.5-OmniLive：長期的なストリーミング映像と音声のインタラクションを実現する包括的なマルチモーダルシステム。

非構造化データのためのコンテキストレイヤー：S3、GCS、Azure 上の型付き、バージョン管理されたデータセット

クリップ埋め込みの容易な計算と、それを用いたクリップ検索システムの構築

ラベル付けなしで推論を行うための画像（基盤モデルを使用して教師ありモデルを訓練します）。

マルチモーダルモデル（PaliGemma 2、Florence-2、Qwen2.5-VL）のファインチューニングプロセスを効率化する

[EMNLP-2024] 高速なプロトタイプ作成と本番環境向けマルチモーダル言語エージェントの構築。

詳細なロードマップ、プロジェクト、ユースケース、面接対策、コーディング対策を含む、Generative AI に関する包括的なリソース

OFA (ICML 2022) の公式リポジトリ。論文: OFA: Unifying Architectures, Tasks, and Modalities Through a Simple Sequence-to-Sequence Learning Framework

mPLUG-Owl：強力なマルチモーダル大規模言語モデルファミリ

HuixiangDou: LLM ベースの技術支援によるグループチャットシナリオの克服

(ෆ`꒳´ෆ) Text-to-Image 生成／合成に関するサーベイ。