elt

Apache Airflow - ワークフローをプログラム的に作成、スケジューリング、監視するためのプラットフォーム

ELTパイプラインおよびAIエージェント向けのオープンソースデータ移動 — API、データベース、ファイルからウェアハウス、レイク、AIアプリケーションまで。セルフホストおよびクラウドの両方に対応。

dbtは、データアナリストやエンジニアが、ソフトウェアエンジニアがアプリケーション構築に使用するのと同じ手法でデータを変換できるようにする。

SeaTunnelは、マルチモーダルで高性能、分散型の大規模データ統合ツールです.

🧙 データ統合および変換のためのデータパイプラインの構築、実行、管理。

クラウド設定およびセキュリティデータのデータパイプライン。クラウド資産インベントリ、CSPM、FinOps、脆弱性管理ソリューションを構築。AWS、Azure、GCP、および70以上のクラウドおよびSaaSソースから抽出。

Flink CDCはストリーミングデータ統合ツールである。

data load tool (dlt) は、データローディングを容易にするオープンソースのPythonライブラリです 🛠️

プライバシーとセキュリティに焦点を当てたSegment代替ソリューション。GolangとReactで実装。

エージェンティックLLMを活用したデータ処理およびETLのためのシステム

Maestro: Netflixのワークフローオーケストレーター

スケーラブルで効率的なデータ変換フレームワーク - dbt と下位互換性があります。

Meltano: データおよび ML 駆動型の製品アイデアを実現する、宣言型のコードファーストデータ統合エンジン。API 統合の記述、保守、スケーリングの手間から解放されます。

エンジニアのためのオープンソース BI

OLake - テーブル最適化（OLake Fusion）を備えた、Apache Iceberg への最速のデータベース、Kafka & S3 レプリケーション。⚡ リアルタイム分析のための効率的、迅速、かつスケーラブルなデータ取り込み。サポートされているデータソース: Postgres、MongoDB、MySQL、Oracle、MSSql、DB2、Kafka、S3。

独自のサーバーやクラウドにデプロイできるオープンソースのETL/ELT。DuckDBをベースに構築：ノーコード／ローコードのビジュアルパイプラインまたはSQL、385のコンポーネント、dbt、CDC、データ品質、リバースETL、リネージ、AIエージェント向けMCP。ベンダーのクラウドや行ごとの課金はありません。

🌊 Estuary を使用してデータフローを管理し、データが存在するシステムと利用したいシステムの間で継続的に同期を実現する 🌊

Sling は、ソースストレージ/データベースからデータを抽出し、ターゲットストレージ/データベースにロードする CLI ツールです。

Optimusは、データ変換、データモデリング、パイプライン、データ品質管理のための、使いやすく信頼性の高い高性能なワークフローオーケストレーターです。

dbtとMetabaseの統合

Data Vault 2.0準拠のデータウェアハウスを作成およびロードするための、無料で使用できるdbtパッケージ（オープンソースのデータエンジニアリングツールであるdbtを搭載、dbt Labsの登録商標）