data-engineering

データクレンジング用のクリーンなAPI。Rパッケージ Janitor の Python 実装

書籍『Data Science on the Google Cloud Platform』(Valliappa Lakshmanan 著、O'Reilly 2017年) の付属ソースコード。

初のオープンソースデータディスカバリーおよび観測可能性プラットフォーム。データ実務者の作業を簡素化し、ビジネスに集中できるようにします。

MLOpsの取り組みやデータパイプラインを迅速に開始し標準化するための、包括的なPythonパッケージテンプレート

主要テック企業による300件以上のエンジニアリングブログ記事のキュレーションコレクション。トップエンジニアリングチームが大規模な現実世界の課題をどのように解決しているかを学べます。

実世界の専門家による最も包括的なSQLガイド！基礎から高度なクエリ、最適化、実際のSQLまですべてを学べます

Quilt は AWS 上の科学データ管理プラットフォームであり、高度にバージョン管理されコンテキストが豊富なデータパッケージを通じて、チームや AI がデータの検索、信頼、再利用を行えるように支援します。

独自のサーバーやクラウドにデプロイできるオープンソースのETL/ELT。DuckDBをベースに構築：ノーコード／ローコードのビジュアルパイプラインまたはSQL、385のコンポーネント、dbt、CDC、データ品質、リバースETL、リネージ、AIエージェント向けMCP。ベンダーのクラウドや行ごとの課金はありません。

データ中心型 AI リソースの厳選された（ただし網羅的ではない）リスト。

データエンジニアリングと機械学習のナレッジハブ

Open Data Contract Standard (ODCS) の公式リポジトリ

素晴らしいデータカタログとオブザーバビリティプラットフォームのまとめ

データ契約の強制

🌊 Estuary を使用してデータフローを管理し、データが存在するシステムと利用したいシステムの間で継続的に同期を実現する 🌊

FlyFishはデータビジュアライゼーションのコーディングプラットフォームです。簡単な方法で素早くデータモデルを作成し、ドラッグ＆ドロップでデータビジュアライゼーションソリューションのセットを素早く生成できます。

SQL Server を使用したモダンなデータウェアハウス構築に関する包括的ガイド（ETL プロセス、データモデリング、分析を含む）

Egeriaコア

スペイン語でのデータエンジニアリングの基本概念、技術的な課題、リソースをまとめたリポジトリ 🧙✨

高速かつ低コストでデータ分散処理を行うための、コミュニティ主導型でシンプルかつ強力なフレームワーク

Neum AIは、大規模なベクトル埋め込みの作成と同期を管理するためのクラス最高峰のフレームワークです

Udemy コース「The Complete dbt (Data Build Tool) Bootcamp」の補足資料

実践データエンジニアリング：不動産プロジェクトの実践ガイド

効率的なデータパイプラインを構築するためのPythonフレームワーク。モジュール性とコラボレーションを促進し、シンプルで再利用可能なコンポーネントから複雑なパイプラインの作成を可能にします。

dbt、SQL、クラウドデータウェアハウス向けのオープンソースのエイジェنت型データエンジニアリングハーネス。100以上のツール、10のデータウェアハウス、AI駆動。

データをより深く理解する！Datavines はメタデータ管理とデータ品質をサポートする次世代データ可観測性プラットフォームです。

BigFunctions で BigQuery をパワーアップ

機械学習プロジェクトの失敗に関する、注目度の高い現実世界の事例集

VectorFlow は、生データをインジェストし、ベクトルに変換して任意のベクトル DB に書き込むための高スループットなベクトル埋め込みパイプラインです。

データフローエンジンは、データ統合、データ同期、データ交換、データ共有、タスク設定、タスクスケジューリングを担う基盤データ駆動エンジンです。管理・実行の分離、マルチストリーム層、プラグインライブラリなどのアーキテクチャを採用し、大規模なデータタスク、高頻度のデータ報告・収集、異種データ互換性などの実際の課題に対応します。

Synmetrix – Cube をベースにした本番環境対応のオープンソースセマンティックレイヤー