streaming-data

Danh sách tổng hợp các framework big data, tài nguyên và các nội dung tuyệt vời khác.

Giao diện web mã nguồn mở để quản lý Apache Kafka

Miller giống như awk, sed, cut, join và sort dành cho dữ liệu được lập chỉ mục theo tên như CSV, TSV và JSON dạng bảng.

Xử lý luồng phức tạp trở nên đơn giản và dễ vận hành

Lớp dữ liệu thời gian thực cho ứng dụng và AI agent. Tạo góc nhìn cập nhật từng giây về doanh nghiệp của bạn chỉ bằng SQL

Học máy trực tuyến trong Python

Readyset là lớp bộ nhớ đệm tương thích với giao thức MySQL và Postgres, đặt trước các cơ sở dữ liệu hiện có để tăng tốc độ truy vấn và mở rộng quy mô thông lượng đọc theo chiều ngang. Bên trong, ReadySet lưu trữ kết quả của các câu lệnh select được cache và cập nhật dần các kết quả này theo thời gian khi dữ liệu cơ bản thay đổi.

🦀 Xử lý luồng sự kiện dành cho nhà phát triển để thu thập và chuyển đổi dữ liệu đang truyền nhằm hỗ trợ các ứng dụng đòi hỏi nhiều dữ liệu phản hồi nhanh.

Các tiện ích để truyền phát (stream) các tệp lớn (S3, HDFS, gzip, bz2...)

Web UI mã nguồn mở để quản lý các cụm Apache Kafka

Thư viện xử lý luồng nhẹ dành cho Go

Xử lý luồng dữ liệu Python

Pravega - Streaming như một nguyên thủy lưu trữ định nghĩa bằng phần mềm mới

Python Streaming DataFrames cho Kafka

Xử lý luồng thời gian thực cho Python

Trill là một bộ xử lý truy vấn đơn nút dành cho dữ liệu thời gian hoặc luồng.

Superdiff cung cấp tính năng so sánh (diff) phong phú và dễ đọc cho mảng, đối tượng, văn bản và tọa độ. Nó hỗ trợ đầu vào dạng luồng và tệp để xử lý các tập dữ liệu lớn một cách hiệu quả, đã được thử nghiệm thực tế, không có phụ thuộc nào và mang lại hiệu năng hàng đầu.

📐 Đẩy giới hạn của sự đơn giản

Các thuật toán một lượt (single-pass) cho thống kê.

HStreamDB là cơ sở dữ liệu streaming mã nguồn mở, cloud-native dành cho IoT và hơn thế nữa. Hiện đại hóa ngăn xếp dữ liệu của bạn cho các ứng dụng thời gian thực.

Danh sách về Apache Kafka

Phân nhóm tối ưu: phân nhóm đơn điệu với các ràng buộc. Hỗ trợ phân nhóm tối ưu theo lô và luồng. Mô hình hóa thẻ điểm và giải thích phản thực tế.

Triển khai thuật toán Robust Random Cut Forest để phát hiện bất thường trên các luồng dữ liệu

Shioaji, API giao dịch đa nền tảng hoàn toàn mới