data-integration

Apache Airflow - ワークフローをプログラム的に作成、スケジューリング、監視するためのプラットフォーム

ELTパイプラインおよびAIエージェント向けのオープンソースデータ移動 — API、データベース、ファイルからウェアハウス、レイク、AIアプリケーションまで。セルフホストおよびクラウドの両方に対応。

データとAIアルゴリズムを瞬時に本番環境で利用可能なWebアプリケーションに変換します。

データアセットの開発、本番運用、監視のためのオーケストレーションプラットフォーム

SeaTunnelは、マルチモーダルで高性能、分散型の大規模データ統合ツールです.

🧙 データ統合および変換のためのデータパイプラインの構築、実行、管理。

クラウド設定およびセキュリティデータのデータパイプライン。クラウド資産インベントリ、CSPM、FinOps、脆弱性管理ソリューションを構築。AWS、Azure、GCP、および70以上のクラウドおよびSaaSソースから抽出。

Flink CDCはストリーミングデータ統合ツールである。

ビッグデータにおけるUpserts、削除、およびインクリメンタル処理

🦀 イベントストリーム処理。開発者が動的なデータを収集・変換し、応答性の高いデータ集約型アプリケーションを駆動させるためのもの。

JitsuはオープンソースのSegment代替品。モダンなデータチーム向けの完全にスクリプト可能なデータ取り込みエンジン。数日ではなく数分でリアルタイムデータパイプラインを構築可能。

データアクセスとオペレーショナルインテリジェンスが出会う場所

プライバシーとセキュリティに焦点を当てたSegment代替ソリューション。GolangとReactで実装。

データ統合フレームワーク

ingestrは、単一のコマンドであらゆるデータベース間でシームレスにデータをコピーするためのCLIツールです。

RNA-seq、ATAC-seqなど、シングルセル向けのソフトウェアパッケージとデータリソースのコミュニティキュレーションリスト。

:bar_chart: D3をベースに構築された、モジュール型のチャートコンポーネントライブラリ

superglue (YC W25) は、自然言語から統合とツールを構築します。ロングテールおよびエンタープライズシステム向けのプロダクション品質のツールを提供します。

Hop オーケストレーションプラットフォーム

RDBMSとNoSQLの間でデータをシームレスに転送できる、高速で多機能なETLツール

独自のサーバーやクラウドにデプロイできるオープンソースのETL/ELT。DuckDBをベースに構築：ノーコード／ローコードのビジュアルパイプラインまたはSQL、385のコンポーネント、dbt、CDC、データ品質、リバースETL、リネージ、AIエージェント向けMCP。ベンダーのクラウドや行ごとの課金はありません。

ナレッジグラフに関する深い洞察を与えるチュートリアルと論文集

🌊 Estuary を使用してデータフローを管理し、データが存在するシステムと利用したいシステムの間で継続的に同期を実現する 🌊

SeaTunnelは、大規模データ（オフラインおよびリアルタイム）の同期と変換を行う、分散型かつ高性能なデータ統合プラットフォームです。

データエージェントの進歩に関する継続的に更新される論文リスト。論文「A Survey of Data Agents: Emerging Paradigm or Overstated Hype?」の関連リポジトリです。

NicheNet: 相互作用する細胞間の活性リガンド-ターゲット間リンクを予測する

Harmony を用いた、高速、高感度かつ高精度なシングルセルデータの統合

データストア間でデータをストリーミングするConduit。Kafka Connectの代替。JVMは不要です。

分析プラットフォームやデータエンジニアリングエコシステムで使用されるオープンソースツールの厳選リスト

Apache Hudi関連資料のまとめ