datalake

データベースまたはデータレイク（SQL, CSV, parquet）とチャット可能。PandasAIはLLMsとRAGを使用してデータ分析を対話形式にします。

大規模データ向け分散SQLクエリエンジンTrinoの公式リポジトリ（旧称: PrestoSQL）（https://trino.io)

データレイクハウス上およびオフでのサブ秒分析のための世界最速のオープンクエリエンジン。ほぼあらゆるシナリオをサポートする柔軟性により、StarRocksは多次元分析、リアルタイム分析、アドホッククエリに最高クラスのパフォーマンスを提供します。Linux Foundationのプロジェクト。

Deeplakeはエージェント向けのAIデータランタイムです。マルチモーダルなデータレイクを備えたサーバーレスPostgresを提供し、スケーラブルな検索とトレーニングを可能にします。

ビッグデータにおけるUpserts、削除、およびインクリメンタル処理

lakeFS - データレイクのためのデータバージョン管理 | データのためのGit

DinkyはApache Flinkをベースとしたリアルタイムデータ開発プラットフォームであり、アジャイルなデータ開発、デプロイ、運用を可能にする。

高性能で地理的に分散されたフェデレーテッド・メタデータレイクを構築するための、世界で最も強力なオープンデータカタログ

S3、PostgreSQL、SQLite、Apache Iceberg、Delta Lakeに対応したApache Kafka互換ブローカー。

LeoFS ストレージシステム

ML を活用したスケーラブルなマスターデータ管理、ID 解決、エンティティ解決、および重複排除

ClickBench: 分析データベース向けベンチマーク

SQL Server を使用したモダンなデータウェアハウス構築に関する包括的ガイド（ETL プロセス、データモデリング、分析を含む）

データエージェントの進歩に関する継続的に更新される論文リスト。論文「A Survey of Data Agents: Emerging Paradigm or Overstated Hype?」の関連リポジトリです。

分析プラットフォームやデータエンジニアリングエコシステムで使用されるオープンソースツールの厳選リスト

Data Vault 2.0準拠のデータウェアハウスを作成およびロードするための、無料で使用できるdbtパッケージ（オープンソースのデータエンジニアリングツールであるdbtを搭載、dbt Labsの登録商標）

Apache Hudi関連資料のまとめ