big-data

分布式大数据编排服务

基于 AWS、支持 PB 级数据规模的开源安全数据湖，用于威胁狩猎、检测与响应以及网络安全分析

作为 IPython / Jupyter 笔记本的大数据分析与机器学习 Apache Spark & Python (pySpark) 教程

Tonbo 是一个用于无服务器与边缘运行环境的嵌入式数据库。

:bar_chart: :clipboard: 使用 YAML 或 JSON 文件的仪表板

Dremio —— 现代数据中缺失的环节

高性能数据存储解决方案

JavaScript 的 Avro :zap:

一个先进且成熟的开源 MPP (大规模并行处理) 数据库。Greenplum Database 的开源替代方案。

Scikit-learn 的扩展套件，是加速 Scikit-learn 应用程序的无缝方式

PySpark-Tutorial 提供使用 PySpark 的基础算法

针对数据分析与对象存储工作负载优化的可扩展、可靠的分布式存储系统。

用于查看与查询 Apache Parquet 文件的简易 Windows 桌面应用程序

GraphFrames 是一个为 Apache Spark 提供基于 DataFrame 的图（Graph）包。

Apache Amoro(incubating) 是一个构建在开放数据湖格式上的 Lakehouse 管理系统。

Apache Accumulo

ClickBench：分析型数据库的基准测试工具

📙 超赞的数据目录与可观测性平台。

ADAM 是一个基因组分析平台，采用 Apache Avro、Apache Spark 和 Apache Parquet 建构特制档案格式。采用 Apache 2 授权。

支持高性能向量搜索与全文搜索的 @ClickHouse 分支。

Apache Flink Kubernetes Operator

数据科学、机器学习、大数据与商业分析职业资源库

ListenBrainz 项目的服务器，包含其提供的前端 (javascript/react) 代码以及 LB 使用的所有数据处理组件。

适用于 Apache Spark 的 NVIDIA cuDF 插件 - 使用 GPU 加速 Apache Spark

Sparkling Water 在 Spark 集群中提供 H2O 功能

安全数据共享的开放协议

⚡ 用于统计的单遍算法

另一个包含西班牙语数据工程基础概念、技术挑战与资源的存储库 🧙✨

🏅最先进的学习型数据结构，能在数十亿个元素的数组中进行快速查找、前驱、范围搜索与更新，且空间使用量比传统索引少几个数量级。

AI 项目