streaming-data

멋진 빅데이터 프레임워크, 리소스 및 기타 유용한 항목들의 엄선된 목록

Apache Kafka 관리를 위한 오픈소스 웹 UI

Miller는 CSV, TSV, 표 형식의 JSON 등 이름 색인 데이터에 대한 awk, sed, cut, join, sort와 같은 도구입니다.

운영의 번거로움을 없앤 편리한 스트림 처리

앱과 AI 에이전트를 위한 실시간 데이터 레이어. SQL만 사용하여 비즈니스의 실시간 뷰를 생성하세요.

🌊 Python의 온라인 머신러닝

Readyset은 기존 데이터베이스 앞에 배치되어 쿼리를 가속화하고 읽기 처리량을 수평 확장하는 MySQL 및 Postgres 와이어 호환 캐싱 레이어입니다. 내부적으로 ReadySet은 캐시된 select 문의 결과를 캐시하고 기본 데이터가 변경됨에 따라 시간이 지남에 따라 이러한 결과를 증분 업데이트합니다.

🦀 개발자가 실시간 데이터를 수집하고 변환하여 반응형 데이터 집약적 애플리케이션을 구동할 수 있도록 지원하는 이벤트 스트림 처리 시스템

대용량 파일 스트리밍을 위한 유틸리티 (S3, HDFS, gzip, bz2...)

Apache Kafka 클러스터 관리를 위한 오픈소스 웹 UI

Go를 위한 경량 스트림 처리 라이브러리

Python 스트림 처리

Pravega - 새로운 소프트웨어 정의 스토리지 프리미티브로서의 스트리밍

Kafka를 위한 Python 스트리밍 DataFrame

Python을 위한 실시간 스트림 처리입니다.

Trill은 시계열 또는 스트리밍 데이터를 위한 단일 노드 쿼리 프로세서입니다.

Superdiff는 배열, 객체, 텍스트, 좌표에 대해 풍부하고 읽기 쉬운 diff 기능을 제공합니다. 대규모 데이터셋을 효율적으로 처리하기 위한 스트림 및 파일 입력을 지원하며, 실전 검증을 거쳤고 의존성이 없으며 최고 수준의 성능을 자랑합니다.

📐 단순함의 한계를 넓히다

통계를 위한 단일 패스 알고리즘

HStreamDB는 IoT 및 그 이상을 위한 오픈소스 클라우드 네이티브 스트리밍 데이터베이스로, 실시간 애플리케이션을 위한 데이터 스택 현대화를 지원함

Apache Kafka 관련 리스트

최적의 비닝: 제약 조건이 있는 단조 비닝. 배치 및 스트림 최적 비닝 지원. 스코어카드 모델링 및 반사실적 설명.

🌲 스트림 이상 탐지를 위한 Robust Random Cut Forest 알고리즘 구현

차세대 크로스 플랫폼 증권 거래 API인 Shioaji