streaming-data

精選的大數據框架、資源與其他相關優秀項目列表

Apache Kafka 管理的開源 Web UI

Miller 如同 awk、sed、cut、join、sort，專為 CSV、TSV 與表格化 JSON 等名稱索引資料設計。

讓繁雜的串流處理變得簡單易行

為應用與 AI 代理提供即時資料層。僅使用 SQL，即可建立秒級視圖。

🌊 Python線上機器學習

Readyset 是一個 MySQL 與 Postgres 的線路相容快取層，位於現有資料庫前端，提升查詢速度並水平擴充讀取吞吐量。其內部會快取已快取的 SELECT 結果，並隨著底層資料變更逐步更新這些結果。

🦀 事件流處理，協助開發者收集並轉換流動資料，打造響應式資料密集型應用。

用於串流大型檔案的工具（S3、HDFS、gzip、bz2…）

用於管理 Apache Kafka 叢集的開源 Web UI

一個用於 Go 的輕量級串流處理函式庫

Python 資料流處理

Pravega - 作為全新軟體定義儲存原語的串流系統

適用於 Kafka 的 Python 串流 DataFrames

適用於 Python 的即時串流處理

Trill 是一個用於時序或串流資料的單節點查詢處理器。

Superdiff 為陣列、物件、文字和座標提供豐富且易讀的 diff。它支援串流和檔案輸入以高效處理大型資料集，經過實戰考驗，零相依性，並提供頂級效能。

📐 推向極簡主義的極限

⚡ 用於統計的單遍演算法

HStreamDB 是一個用於物聯網及其他領域的開源雲原生串流資料庫。為即時應用程式現代化您的資料堆疊。

關於 Apache Kafka 的列表

最佳分箱：具備約束條件的單調分箱。支援批次與串流最佳分箱。提供評分卡建模與反事實解釋。

用於串流異常檢測的 Robust Random Cut Forest 演算法實作

Shioaji 全新跨平台交易 API