multimodal

知性をレンタルするのをやめましょう。AnythingLLMで所有してください。強力なローカルファーストのエージェント体験に必要なすべて。

《深入理解 AI Agent：设计原理与工程实践》（李博杰 著）オープンソースメインリポジトリ：全書本文、コンパイル版PDF、および章ごとの対応コード。

オープンソースのマルチモーダルAIエージェントスタック：最先端のAIモデルとエージェントインフラの接続

[NeurIPS'23 Oral] GPT-4Vレベルの能力、さらにはそれを超えることを目指したVisual Instruction Tuning (LLaVA)。

タスク、言語、モダリティを横断する大規模な自己教師あり事前学習

☁️ クラウドネイティブスタックでマルチモーダルAIアプリケーションを構築。

YC (S26) | Open Computer History | 画面をローカルで継続的に記録し、エージェント（Claude, Codex, Openclaw, Hermes, Runner...）にコンテキストを提供

Janus-Series: 統合型マルチモーダル理解および生成モデル

PEFTまたはFull-parameterを使用して、600以上のLLM (Qwen3.6, DeepSeek-V4, GLM-5.1, InternLM3, Llama4, ...) および300以上のMLLM (Qwen3-VL, Qwen3-Omni, InternVL3.5, Ovis2.5, GLM4.5v, Gemma4, Llava, Phi4, ...) に適用する (AAAI 2025)。

マルチモーダルロボティクスデータで学習するための可視化、クエリ、ストリーミング。

🔍大規模言語モデル（LLM）アプリケーション開発実践編1：RAG技術フルスタックガイド（オンライン閲覧URL：https://datawhalechina.github.io/all-in-rag/）

ローカルでAIを実行するための本番環境対応ツールキット

表形式、時系列、グラフ、テキスト、画像、音声データにわたる異常検知のためのPythonライブラリ。60以上の検出器、ベンチマーク裏付けのADEngineオーケストレーション、AIエージェント向けのエージェンティックワークフローを提供。

Webパースの終焉。スケーラブルなピクセルネイティブ検索の幕開け。リンク: https://pixelrag.ai/

SeaTunnelは、マルチモーダルで高性能、分散型の大規模データ統合ツールです.

Deeplakeはエージェント向けのAIデータランタイムです。マルチモーダルなデータレイクを備えたサーバーレスPostgresを提供し、スケーラブルな検索とトレーニングを可能にします。

Mobile-Agent: 強力なGUIエージェントファミリー

AIアプリやモデルを配信する最も簡単な方法 - モデル推論API、ジョブキュー、LLMアプリ、マルチモデルパイプラインなどを構築！

AppleのMLXフレームワーク上に構築された、テキスト読み上げ (TTS)、音声認識 (STT)、音声合成 (STS) のライブラリ。Apple Silicon上での効率的な音声分析を提供。

マルチモーダルモデルを用いた効率的なモデル推論のためのフレームワーク。

このリポジトリは、人工知能（AI）に関する様々なコースやリソースへのキュレーションされたリンク集です。

Googleによって構築され、本番環境で使用されている、JavaScript、Go、Dart、Pythonでエージェンティックアプリを構築するためのオープンソースフレームワーク。

新しいAI開発動向をキャッチアップするソフトウェアエンジニア向けのメモ。https://latent.spaceでの執筆や製品ブレインストーミングのデータストアとして機能しますが、/Resourcesフォルダ内の正規参照を整理しています。

強化学習されたVLMによる視覚理解を解決する

エージェンティックワークフローのためのビジュアルプレイグラウンド：エージェントを10倍速く反復処理

AIおよびマルチモーダルワークロード向けの高性能データエンジン。あらゆる規模で画像、音声、動画、構造化データを処理します。

複雑で革新的なRAGパイプラインを構築するためのローコードMCPフレームワーク

Facebook AI Research (FAIR) による、ビジョン＆言語のマルチモーダル研究のためのモジュール式フレームワーク

超大規模MoEモデル向けに構築された次世代トレーニングエンジン

Align Anything: フィードバックを用いた全モダリティモデルのトレーニング。