streaming-data

精选的大数据框架、资源与其他相关优秀项目列表

Apache Kafka 管理的开源 Web UI

Miller 类似 awk、sed、cut、join、sort，用于 CSV、TSV 和表格化 JSON 等名称索引数据。

Fancy stream processing made operationally mundane

为应用与 AI 代理提供实时数据层。仅使用 SQL，即可创建秒级视图。

🌊 Python线上机器学习

Readyset 是一个 MySQL 与 Postgres 的线路相容缓存层，位于现有数据库前端，提升查询速度并水平扩充读取吞吐量。其内部会缓存已缓存的 SELECT 结果，并随着底层数据变更逐步更新这些结果。

🦀 事件流处理，协助开发者收集并转换流动数据，打造响应式数据密集型应用。

用于串流大型文件的工具（S3、HDFS、gzip、bz2…）

用于管理 Apache Kafka 集群的开源 Web UI

一个用于 Go 的轻量级流处理库

Python 流处理

Pravega - 作为全新软件定义存储原语的流系统

用于 Kafka 的 Python 流式 DataFrames

适用于 Python 的实时流处理

Trill 是一个用于时序或流数据的单节点查询处理器。

Superdiff 为数组、对象、文本和坐标提供丰富且易读的 diff。它支持流和文件输入以高效处理大型数据集，经过实战考验，零依赖性，并提供顶级性能。

📐 挑战极简主义的极限

⚡ 用于统计的单遍算法

HStreamDB 是一个用于物联网及其他领域的开源云原生流数据库。为实时应用程序现代化您的数据栈。

关于 Apache Kafka 的列表

最佳分箱：具备约束条件的单调分箱。支持批次与流式最佳分箱。提供评分卡建模与反事实解释。

用于流式异常检测的 Robust Random Cut Forest 算法实现

Shioaji 全新跨平台交易 API