data-engineering

Apache Supersetはデータ可視化およびデータ探索プラットフォームです

本番環境レベルのMLアプリケーションを開発、デプロイ、反復的に改善する方法を学ぶ。

Apache Airflow - ワークフローをプログラム的に作成、スケジューリング、監視するためのプラットフォーム

Data Engineering Zoomcampは、本番環境対応のデータパイプラインを構築するための無料の9週間コースです。次のコホートは2026年1月に開始します。こちらからコースに参加してください 👇🏼

📚 データサイエンスおよび機械学習を本番環境で利用する際の企業の論文や技術ブログ。

ミッションクリティカルなアプリケーションのためのイベント駆動型オーケストレーション＆スケジューリングプラットフォーム

Prefectは、Pythonで回復力のあるデータパイプラインを構築するためのワークフローオーケストレーションフレームワークです。

ELTパイプラインおよびAIエージェント向けのオープンソースデータ移動 — API、データベース、ファイルからウェアハウス、レイク、AIアプリケーションまで。セルフホストおよびクラウドの両方に対応。

データとAIアルゴリズムを瞬時に本番環境で利用可能なWebアプリケーションに変換します。

Kubernetes用ワークフローエンジン

データアセットの開発、本番運用、監視のためのオーケストレーションプラットフォーム

The Data Engineering Cookbook

常にデータから何が期待できるかを知っておくこと。

長期ホライズンエージェントのためのインクリメンタルエンジン 🌟 気に入ったらスターを！

コンテキストとアカウンタブルなAIシステムのためのグラフネイティブなインフラストラクチャ

🐚 Python駆動のシェル。多機能で、クロスプラットフォーム対応、AIフレンドリー。

エージェンティックAIのためのイベントストリーミングプラットフォーム。イベントストリームをリアルタイムで、大規模に継続的に取り込み、変換、提供します。

🧙 データ統合および変換のためのデータパイプラインの構築、実行、管理。

華やかなストリーム処理を運用上、日常的なものに。

オープンソースのフィーチャーフラグ、実験、およびプロダクト分析

AI/ML向けオープンソースFeature Store。

LLM駆動による非構造化データの抽出 — APIデプロイメントおよびETLパイプラインワークフロー向けに構築

コードとしてのビジネスインテリジェンス：SQLとmarkdownで高速なインタラクティブなデータビジュアライゼーションを構築

クラウド設定およびセキュリティデータのデータパイプライン。クラウド資産インベントリ、CSPM、FinOps、脆弱性管理ソリューションを構築。AWS、Azure、GCP、および70以上のクラウドおよびSaaSソースから抽出。

data load tool (dlt) は、データローディングを容易にするオープンソースのPythonライブラリです 🛠️

AIおよびマルチモーダルワークロード向けの高性能データエンジン。あらゆる規模で画像、音声、動画、構造化データを処理します。

lakeFS - データレイクのためのデータバージョン管理 | データのためのGit

DeepAnalyzeは自律的なデータサイエンスのための初のエージェンティックLLMです。🎈あなたのAIデータアナリストが大量のデータを自動分析し、ワンクリックで専門的な分析レポートを生成します！

プライバシーとセキュリティに焦点を当てたSegment代替ソリューション。GolangとReactで実装。

データサイエンスのAからZまでのロードマップ