data-pipelines

ストリーム処理、リアルタイム分析、LLMパイプライン、RAGのためのPython ETLフレームワーク

Apache Airflow - ワークフローをプログラム的に作成、スケジューリング、監視するためのプラットフォーム

データアセットの開発、本番運用、監視のためのオーケストレーションプラットフォーム

ドキュメントを簡単に構造化データに変換。Unstructuredは、複雑なドキュメントを言語モデル向けのクリーンで構造化された形式に変換するためのオープンソースETLソリューションです。エンタープライズグレードのPlatform製品について、ウェブサイトで本番グレードのワークフロー、パーティショニング、エンリッチメント、チャンキング、埋め込みについて詳しくご覧ください。

Apache DolphinSchedulerはモダンなデータオーケストレーションプラットフォーム。ローコードで高性能なワークフローを構築可能。

Kedroは本番環境対応のデータサイエンスのためのツールボックスです。ソフトウェアエンジニアリングのベストプラクティスを活用し、再現性、保守性、モジュール性のあるデータエンジニアリングおよびデータサイエンスパイプラインの作成を支援します。

🧙 データ統合および変換のためのデータパイプラインの構築、実行、管理。

最新のLLMsベースのオペレーターとパイプラインによる簡単なデータ準備。

🦀 イベントストリーム処理。開発者が動的なデータを収集・変換し、応答性の高いデータ集約型アプリケーションを駆動させるためのもの。

Preswaldは、Pythonベースのインタラクティブデータアプリ向けのWASMパッカーです。Pyodide、DuckDB、Pandas、Plotly、Matplotlibなどを使用して、特に可視化を含む複雑なデータワークフロー全体を単一ファイルにバンドルし、完全にブラウザ内で実行可能にします。オフラインで動作し、高速にロードされ、ドキュメントのように共有できるダッシュボード、レポート、ノートブックを構築できます。

エージェンティックLLMを活用したデータ処理およびETLのためのシステム

Maestro: Netflixのワークフローオーケストレーター

Meltano: データおよび ML 駆動型の製品アイデアを実現する、宣言型のコードファーストデータ統合エンジン。API 統合の記述、保守、スケーリングの手間から解放されます。

データおよびアナリティクスエンジニア向けの dbt ネイティブなデータ可観測性ソリューション。数分でデータパイプラインを監視できます。プレミアム機能を備えたセルフホストまたはクラウドサービスとして利用可能です。

Felderaインクリメンタル計算エンジン

データエンジニアリングを学ぶための最適な場所。データエンジニアリングコミュニティによって構築・維持されています。

高速で効率的な非構造化データ抽出。Rustで記述され、多くの言語向けのバインディングを備えています。

SQLとPythonでデータパイプラインを構築し、さまざまなソースからデータを取り込み、品質チェックを追加し、エンドツーエンドのフローを構築する

MLeap：ML パイプラインを本番環境にデプロイする

Python の並行処理をシンプルに

初のオープンソースデータディスカバリーおよび観測可能性プラットフォーム。データ実務者の作業を簡素化し、ビジネスに集中できるようにします。

MLOpsの取り組みやデータパイプラインを迅速に開始し標準化するための、包括的なPythonパッケージテンプレート

Pythonを基盤としたビジュアルデータ前処理ツール

Optimusは、データ変換、データモデリング、パイプライン、データ品質管理のための、使いやすく信頼性の高い高性能なワークフローオーケストレーターです。

この dbt パッケージは、メタデータ、成果物、テスト結果を収集し、異常検知、データ品質の監視、メタデータテーブルの構築を可能にします。Elementary OSS を駆動し、Elementary Cloud の完全な Data & AI Control Plane で使用される広範なコンテキストレイヤーを提供します。