datalake

与数据库或数据湖（SQL、CSV、parquet）对话。PandasAI 使用 LLM 与 RAG 让数据分析变成对话式。

Trino 官方仓库，这是一个分布式 SQL 查询引擎，用于大数据，前身为 PrestoSQL (https://trino.io)

全球最快的开放查询引擎，支持数据湖仓的秒级分析，提供多维分析、实时分析与即席查询的最佳性能，属 Linux Foundation 项目

Deeplake 是为代理设计的 AI 数据运行时。它提供无服务器的 Postgres 与多模态数据湖，实现可扩展的检索和训练。

大数据上的上插、删除与增量处理

lakeFS - 数据湖的数据版本控制 | Git for data

Dinky 是一个基于 Apache Flink 的实时数据开发平台，支持敏捷数据开发、部署和运营。

全球最强大的开放数据目录，用于构建高性能、地理分布式且联邦化的元数据湖

兼容 Apache Kafka® 的 Broker，支持 S3、PostgreSQL、SQLite、Apache Iceberg 和 Delta Lake。

LeoFS 存储系统

使用 ML 进行可扩展的主数据管理、身份解析、实体解析与去重

ClickBench：分析型数据库的基准测试工具

使用 SQL Server 构建现代数据仓库的综合指南，包括 ETL 过程、数据建模和分析。

持续更新的数据代理（Data Agents）进展论文列表。与我们的论文“A Survey of Data Agents: Emerging Paradigm or Overstated Hype?”配套的存储库。

精选的开源工具清单，用于分析平台与数据工程生态系统

一个免费的 dbt 套件，用于创建和加载符合 Data Vault 2.0 标准的数据仓库（由开源数据工程工具 dbt 驱动，是 dbt Labs 的注册商标）

汇总 Apache Hudi 相关资料