big-data

分散式大數據編排服務

基於 AWS、支援 PB 級資料規模的開源安全資料湖，用於威脅狩獵、偵測與回應以及網路安全分析

作為 IPython / Jupyter 筆記本的大數據分析與機器學習 Apache Spark & Python (pySpark) 教學課程

Tonbo 是一個用於無伺服器與邊緣執行環境的嵌入式資料庫。

:bar_chart: :clipboard: 使用 YAML 或 JSON 檔案的儀表板

Dremio —— 現代資料中缺失的環節

高效能資料儲存解決方案

JavaScript 的 Avro :zap:

一個先進且成熟的開源 MPP (大規模並行處理) 資料庫。Greenplum Database 的開源替代方案。

Scikit-learn 的擴充套件，是加速 Scikit-learn 應用程式的無縫方式

PySpark-Tutorial 提供使用 PySpark 的基礎演算法

針對資料分析與物件儲存工作負載最佳化的可擴充、可靠的分散式儲存系統。

用於檢視與查詢 Apache Parquet 檔案的簡易 Windows 桌面應用程式

GraphFrames 是一個為 Apache Spark 提供基於 DataFrame 的圖形（Graph）套件。

Apache Amoro(incubating) 是一個建構在開放資料湖格式上的 Lakehouse 管理系統。

Apache Accumulo

ClickBench：分析型資料庫的基準測試工具

📙 超讚的資料目錄與可觀測性平台。

ADAM 是一個基因體分析平台，採用 Apache Avro、Apache Spark 和 Apache Parquet 建構特製檔案格式。採用 Apache 2 授權。

支援高效能向量搜尋與全文搜尋的 @ClickHouse 分支。

Apache Flink Kubernetes Operator

資料科學、機器學習、大數據與商業分析職涯資源庫

ListenBrainz 專案的伺服器，包含其提供的前端 (javascript/react) 程式碼以及 LB 使用的所有資料處理元件。

適用於 Apache Spark 的 NVIDIA cuDF 外掛程式 - 使用 GPU 加速 Apache Spark

Sparkling Water 在 Spark 叢集中提供 H2O 功能

安全資料共享的開放協定

⚡ 用於統計的單遍演算法

另一個包含西班牙語資料工程基礎概念、技術挑戰與資源的儲存庫 🧙✨

🏅最先進的學習型資料結構，能在數十億個元素的陣列中進行快速尋找、前驅、範圍搜尋與更新，且空間使用量比傳統索引少幾個數量級。

AI 專案