big-data

AIおよびマルチモーダルワークロード向けの高性能データエンジン。あらゆる規模で画像、音声、動画、構造化データを処理します。

Spark向けにMLアルゴリズムを移植した、シンプルで分散型の機械学習Pythonライブラリ。

Apache Calcite

Apache Ignite

Stream FrameworkはPythonライブラリであり、Cassandraおよび/またはRedisを使用してニュースフィード、アクティビティストリーム、通知システムを構築できます。Stream-Frameworkの著者らは、フィード技術のためのクラウドサービスも提供しています。

⚡️高いレンダリングパフォーマンスと効率性で大量のデータリストをサポートするVueコンポーネント。

大量の画像URLを簡単に画像データセットに変換可能。1台のマシンで1億件のURLを20時間でダウンロード、リサイズ、パッケージ化できる。

CrateDBは、複雑なクエリに対してもニアリアルタイムで大量のデータを保存・分析するための分散型スケーラブルなSQLデータベースです。PostgreSQL互換であり、Luceneをベースにしています。

🚄 FASTJSON2は優れたパフォーマンスを持つJava JSONライブラリである。

データサイエンスのAからZまでのロードマップ

🔨 🍇 💻 🚀 GraphScope：Alibaba によるワンストップ大規模グラフ計算システム

Rust 向けの拡張可能な SQL レキサーおよびパーサー

Apache Paimon は、ストリーミングとバッチ処理の両方において Flink および Spark を用いたリアルタイムレイクハウスアーキテクチャの構築を可能にするレイクフォーマットです。

Koalas: Apache Spark上のpandas API

Rustで書かれた Apache Spark のドロップイン代替であり、バッチ処理、ストリーム処理、および計算負荷の高いAIワークロードを統合します。

1000億件以上のデータに対応する、高性能で拡張性に優れたグラフデータベース（OLTPエンジン、REST-API、バックエンドを含む）

使いやすいセルフサービス型のオープンなBIレポートおよびBIダッシュボードプラットフォーム

Apache Kafkaクラスターを管理するためのオープンソースWeb UI

ArcticDB は、Python Data Science エコシステム向けに構築された高性能なサーバーレス DataFrame データベースです。

エンジニアのためのオープンソース BI

Apache Ambari は、Apache Hadoop クラスタのプロビジョニング、管理、監視を簡素化します。

スケーラブルかつフォールトトレラントなオープンソースのビッグデータプラットフォーム YTsaurus

Apache Flussは、リアルタイム分析向けに構築されたストリーミングストレージです。

Apache DataFusion Ballista 分散クエリエンジン

Apache Drillは、自己記述型データのための分散型MPPクエリ層です

Apache BookKeeper - 追記型ワークロードに最適化された、スケーラブル、耐障害性、低レイテンシのストレージサービス

クラウド上のBigData/AIアプリケーション向け、流動的かつ柔軟なデータ抽象化および高速化レイヤー。（CNCFプロジェクト）

Apache Kuduのミラー

データ分析とデータサイエンスに関する厳選された500以上のリソース：Python、SQL、統計、ML、AI、可視化、チートシート、ロードマップ、面接対策。初心者から上級者まで。

分散型計算フレームワーク（例: Spark）向けの Auron アクセラレータは、ネイティブなベクトル化実行を活用してクエリ処理を高速化します