streaming-data

優れたビッグデータフレームワーク、リソース、その他の機能を厳選したリスト。

Apache Kafka管理用のオープンソースWeb UI

Millerは、CSV、TSV、表形式のJSONなどの名前付きインデックスデータに対するawk、sed、cut、join、sortのようなもの。

華やかなストリーム処理を運用上、日常的なものに。

アプリおよびAIエージェントのためのライブデータレイヤー。SQLのみを使用して、ビジネスの最新のビューを作成できます。

🌊 Pythonでのオンライン機械学習

Readysetは、既存のデータベースの前面に配置されるMySQLおよびPostgresのワイヤー互換キャッシュレイヤーであり、クエリを高速化し、読み取りスループットを水平スケールします。内部では、ReadySetはキャッシュされたSELECT文の結果をキャッシュし、基盤となるデータが変更されるにつれてこれらの結果を時間とともに増分的に更新します。

🦀 イベントストリーム処理。開発者が動的なデータを収集・変換し、応答性の高いデータ集約型アプリケーションを駆動させるためのもの。

大きなファイル（S3、HDFS、gzip、bz2 など）をストリーミングするためのユーティリティ

Apache Kafkaクラスターを管理するためのオープンソースWeb UI

Go向けの軽量ストリーム処理ライブラリ

Python ストリーム処理

Pravega - 新しいソフトウェア定義ストレージプリミティブとしてのストリーミング

Kafka 向け Python ストリーミング DataFrame

Python向けのリアルタイムストリーム処理。

Trillは、時系列データやストリーミングデータのためのシングルノードクエリプロセッサです。

Superdiff は、配列、オブジェクト、テキスト、座標に対してリッチで読みやすい diff を提供します。大規模データセットを効率的に処理するためのストリームおよびファイル入力をサポートし、実戦投入で検証済みで、依存関係がなく、最高峰のパフォーマンスを提供します。

📐 シンプルさの限界に挑む

⚡ 統計用の1パスアルゴリズム

HStreamDBは、IoTおよびその先を見据えたオープンソースのクラウドネイティブ・ストリーミングデータベースです。リアルタイムアプリケーション向けにデータスタックをモダン化します。

Apache Kafka に関するリスト

最適ビニング：制約付き単調ビニング。バッチおよびストリームの最適ビニングをサポート。スコアカードモデリングと反事実的説明。

🌲 ストリーム上の異常検知のための Robust Random Cut Forest アルゴリズムの実装

完全新規のクロスプラットフォーム向け証券取引API「Shioaji」（跨平台證券交易API）