stream-processing

用於串流處理、即時分析、LLM 管道與 RAG 的 Python ETL 框架。

跨平台、可自訂的機器學習解決方案，適用於即時與串流媒體

高效能觀測資料管線

QuestDB 是高效能、開源的時序資料庫

flink 學習部落格。http://www.54tianzhisheng.cn/ 含 Flink 入門、概念、原理、實戰、性能調優、原始碼解析等內容。涉及 Flink Connector、Metrics、Library、DataStream API、Table API & SQL 等內容的學習案例，還有 Flink 落地應用的大型專案案例（PVUV、日誌存儲、百億資料即時去重、監控告警）分享。歡迎大家支持我的專欄《大數據即時計算引擎 Flink 實戰與性能優化》

精選的大數據框架、資源與其他相關優秀項目列表

Redpanda 是開發者的串流資料平台，兼容 Kafka API，速度提升 10 倍，無需 ZooKeeper，無 JVM！

精選的系統設計（亦稱分散式系統）資源清單

用 Go 以簡易方式構建事件驅動應用程式

針對代理式 AI 的事件串流平台，持續即時、大規模地擷取、轉換與提供事件串流

讓繁雜的串流處理變得簡單易行

快速且輕量的日誌、指標與追蹤處理器，支援 Linux、BSD、OSX 與 Windows

Python 流程處理

Hazelcast 是一個統一的即時資料平台，結合串流處理與高速資料存儲，讓客戶能即時對移動中的資料採取行動，獲得即時洞見。

為應用與 AI 代理提供即時資料層。僅使用 SQL，即可建立秒級視圖。

大數據上的上插、刪除與增量處理

🌊 Python線上機器學習

FastStream 是一個非同步 Python 框架，用於構建事件驅動應用，整合訊息代理、依賴注入、驗證、測試工具與 AsyncAPI 文檔生成於一體

🦀 事件流處理，協助開發者收集並轉換流動資料，打造響應式資料密集型應用。

Danfo.js 是一個開源 JavaScript 函式庫，提供高效、直觀且易於使用的資料結構，用於操作與處理結構化資料

用 Rust 開發的分布式流處理引擎。

快速、簡單且具成本效益的工具，用於將資料從 Postgres 複製到資料倉儲、佇列和儲存空間

精選的優秀串流框架、應用程式等清單

用於執行大規模平行資料／串流作業的 Kubernetes 原生平台

單一 C++ 二進位檔中速度最快的統一串流 SQL 引擎。⚡ 毫秒級延遲。100+ GB/s 吞吐量。持續從串流、日誌、指標、事件與 CDC 中計算即時上下文。

一個用於 Go 的輕量級串流處理函式庫

Python 資料流處理

🦭 從第一原理建構的分散式日誌串流引擎

仿效 Yahoo! Pipes 的 Python 串流處理引擎

串流處理與複雜事件處理引擎