big-data

スケーラブルで信頼性が高く、高性能な大規模システムのパターン

ClickHouse®はリアルタイム分析データベース管理システムです。

Apache Spark - 大規模データ処理のための統合分析エンジン

データサイエンス用Pythonノートブック：ディープラーニング (TensorFlow, Theano, Caffe, Keras)、scikit-learn、Kaggle、ビッグデータ (Spark, Hadoop MapReduce, HDFS)、matplotlib、pandas、NumPy、SciPy、Pythonの基礎、AWS、および各種コマンドライン。

Apache Flink

オープンソースIoTプラットフォーム - デバイス管理、データ収集、処理、可視化。

分散型グラフデータを同期するためのオープンソースのサイバーセキュリティプロトコル。

大データ入門ガイド :star:

大規模データのためのPresto分散SQLクエリエンジンの公式ホームページ

The Data Engineering Cookbook

大規模データ向け分散SQLクエリエンジンTrinoの公式リポジトリ（旧称: PrestoSQL）（https://trino.io)

水平スケーラビリティと高可用性を特徴とする、分散型で高速なオープンソースのグラフデータベース

Apache Kafka管理用のオープンソースWeb UI

データレイクハウス上およびオフでのサブ秒分析のための世界最速のオープンクエリエンジン。ほぼあらゆるシナリオをサポートする柔軟性により、StarRocksは多次元分析、リアルタイム分析、アドホッククエリに最高クラスのパフォーマンスを提供します。Linux Foundationのプロジェクト。

観測性（オブザーバビリティ）のためのクラウドネイティブOSS検索エンジン

最も広く使用されているPythonからCへのコンパイラ

Apache DataFusion SQLクエリエンジン

Python、R、Java、C++向けの、ランキング、分類、回帰などの機械学習タスクに使用される、高速でスケーラブルな高パフォーマンスなGradient Boosting on Decision Treesライブラリ。CPUおよびGPUでの計算をサポート。

Spark、PrestoDB、Flink、Trino、HiveなどのコンピューティングエンジンとAPIを備えたLakehouseアーキテクチャを構築できるオープンソースのストレージフレームワーク。

Apache Beamは、バッチおよびストリーミングデータ処理のための統一プログラミングモデルである。

H2Oは、オープンソースで分散型、高速かつスケーラブルな機械学習プラットフォームです。ディープラーニング、Gradient Boosting (GBM) & XGBoost、Random Forest、一般化線形モデル (Elastic Net付きGLM)、K-Means、PCA、一般化加法モデル (GAM)、RuleFit、サポートベクターマシン (SVM)、スタックドアンサンブル、自動機械学習 (AutoML) など。

Arkimeは、オープンソースの大規模なフルパケットキャプチャ、インデックス作成、およびデータベースシステムです。

AI/ML向けオープンソースFeature Store。

AI検索プラットフォーム

信頼性を考慮して設計された、直感的なHTTP/JSON APIを備えたシームレスなマルチプライマリ同期データベース

SQL、Scalaなどを用いたデータ駆動型でインタラクティブなデータ分析および共同ドキュメントを可能にするWebベースのノートブック。

Hazelcastは、ストリーム処理と高速データストアを組み合わせた統合リアルタイムデータプラットフォームであり、顧客がデータインモーションに対して即座に行動し、リアルタイムの洞察を得ることを可能にします。

Apache IoTDB

データ中心のパイプラインとデータバージョン管理

Apache Hive