etl

ストリーム処理、リアルタイム分析、LLMパイプライン、RAGのためのPython ETLフレームワーク

Apache Airflow - ワークフローをプログラム的に作成、スケジューリング、監視するためのプラットフォーム

ミッションクリティカルなアプリケーションのためのイベント駆動型オーケストレーション＆スケジューリングプラットフォーム

高性能なオブザーバビリティデータパイプライン。

ELTパイプラインおよびAIエージェント向けのオープンソースデータ移動 — API、データベース、ファイルからウェアハウス、レイク、AIアプリケーションまで。セルフホストおよびクラウドの両方に対応。

データアセットの開発、本番運用、監視のためのオーケストレーションプラットフォーム

長期ホライズンエージェントのためのインクリメンタルエンジン 🌟 気に入ったらスターを！

🧙 データ統合および変換のためのデータパイプラインの構築、実行、管理。

華やかなストリーム処理を運用上、日常的なものに。

Zero-ETL、無限の可能性。SQLによるライブクエリAPI、コードなど。DBは不要。

クラウド設定およびセキュリティデータのデータパイプライン。クラウド資産インベントリ、CSPM、FinOps、脆弱性管理ソリューションを構築。AWS、Azure、GCP、および70以上のクラウドおよびSaaSソースから抽出。

Flink CDCはストリーミングデータ統合ツールである。

AIおよびマルチモーダルワークロード向けの高性能データエンジン。あらゆる規模で画像、音声、動画、構造化データを処理します。

プライバシーとセキュリティに焦点を当てたSegment代替ソリューション。GolangとReactで実装。

pandas on AWS - Athena, Glue, Redshift, Timestream, Neptune, OpenSearch, QuickSight, Chime, CloudWatchLogs, DynamoDB, EMR, SecretManager, PostgreSQL, MySQL, SQLServer, S3 (Parquet, CSV, JSON, EXCEL) との容易な統合

エージェンティックLLMを活用したデータ処理およびETLのためのシステム

Maestro: Netflixのワークフローオーケストレーター

ノードベースUIに関するリソースをまとめたキュレーションリスト

優れたETLフレームワーク、ライブラリ、ソフトウェアの厳選されたリスト。

スケーラブルで効率的なデータ変換フレームワーク - dbt と下位互換性があります。

Postgres から Data Warehouse、Queue、Storage へデータを高速かつシンプルに、コスト効率よくレプリケートするためのツール

Ethereum のブロック、トランザクション、ERC20 / ERC721 トークン、転送、レシート、ログ、コントラクト、内部トランザクションの ETL（抽出、変換、ロード）ジョブを実行する Python スクリプト。データは Google BigQuery（https://goo.gl/oY5BCQ）で利用可能です。

:bar_chart: D3をベースに構築された、モジュール型のチャートコンポーネントライブラリ

Apache Hamiltonは、データサイエンティストやエンジニアが、テスト可能でモジュール式かつ自己文書化されたデータフローを定義するのを支援します。データ系統やメタデータを含み、Pythonが動作するすべての環境で実行・スケールします。

🔮 Instill Coreは、データ、モデル、パイプラインのオーケストレーションを行うフルスタックAIインフラストラクチャツールであり、多用途なAIファーストアプリケーション構築のあらゆる側面を効率化するように設計されています。

厳選された素晴らしいBIツールのリスト。プルリクエスト歓迎！

単一の C++ バイナリによる最速の統合型ストリーミング SQL エンジン。⚡ ミリ秒単位のレイテンシ、100+ GB/s のスループット。ストリーム、ログ、メトリクス、イベント、CDC からリアルタイムコンテキストを継続的に計算します。

Go向けの軽量ストリーム処理ライブラリ

データエンジニアリングを学ぶための最適な場所。データエンジニアリングコミュニティによって構築・維持されています。

Ruby 向けのデータ処理および ETL フレームワーク