spark

高性能なデータストアソリューション

『Learning Spark: Lightning-Fast Data Analytics [第2版]』のGitHubリポジトリ

Docker および Kubernetes 向けの 50 以上の DockerHub パブリックイメージ（DevOps、CI/CD、GitHub Actions、CircleCI、Jenkins、TeamCity、Alpine、CentOS、Debian、Fedora、Ubuntu、Hadoop、Kafka、ZooKeeper、HBase、Cassandra、Solr、SolrCloud、Presto、Apache Drill、Nifi、Spark、Consul、Riak）

リモートのSparkクラスターを操作するためのJupyterマジックおよびカーネル

Taier は、提出、スケジューリング、運用保守、指標情報の表示を行うビッグデータ開発プラットフォームです。

PySpark を使用した基本アルゴリズムを提供す PySpark-Tutorial

Apache DataFusion Comet Spark Accelerator

ML を活用したスケーラブルなマスターデータ管理、ID 解決、エンティティ解決、および重複排除

GraphFramesは、DataFrameベースのグラフ機能を提供するApache Spark用パッケージです。

Apache Amoro(incubating)は、オープンなデータレークフォーマット上に構築されたレークハウス管理システムです。

データエンジニアリングと機械学習のナレッジハブ

Apache Celeborn は、シャッフルおよびスピルデータ向けのエラスティックで高性能なサービスです

Apache Avro、Apache Spark、Apache Parquet を使用して構築された特殊なファイル形式を持つ、ゲノミクス分析プラットフォーム ADAM。Apache 2 ライセンス。

ListenBrainzプロジェクト用のサーバー。配信されるフロントエンド（JavaScript/React）コードと、LBで使用されるすべてのデータ処理コンポーネントを含みます。

Apache Spark用NVIDIA cuDFプラグイン - GPUでApache Sparkを高速化

Apache Sparkの無料チュートリアル

Sparkクラスター内でH2Oの機能を提供するSparkling Water

Apache Spark 用 R インターフェース

Apache Livy は、どこからでも Apache Spark と対話するためのオープンソース REST インターフェースです。

安全なデータ共有のためのオープンプロトコル

GenAIアプリケーション向けデータ準備オープンソースプロジェクト

Apache Spark向けのC#およびF#言語バインディングと拡張機能

Redisクラスターとの間で読み書きを可能にするSpark用コネクタ

Spark用の表現力豊かな型

TiDB/TiKV の上で Apache Spark を実行するための TiSpark

AdaおよびSPARKプログラミング言語に関する優れたリソースのキュレーションリスト

Amazon EKS 上でデータプラットフォームの構築、デプロイ、スケーリングを行うためのツール DoEKS

Apache Sparkのパフォーマンス分析およびトラブルシューティングライブラリであるsparkMeasureの開発コードを含むリポジトリです。Sparkのタスクやステージのメトリクスの収集、集約、エクスポートを簡素化し、インタラクティブな分析、テスト、本番監視ワークフローにおいて開発者やデータエンジニアが実用的に使用できるように設計されています。

80以上のDevOpsおよびデータCLIツール - AWS、GCP、GCF Python Cloud Functions、ログ匿名化ツール、Spark、Hadoop、HBase、Hive、Impala、Linux、Docker、Sparkデータコンバーターおよびバリデーター（Avro/Parquet/JSON/CSV/INI/XML/YAML）、Travis CI、AWS CloudFormation、Elasticsearch、Solrなど

Scriptis は、スクリプト開発（SQL、Pyspark、HiveQL）、タスク送信（Spark、Hive）、UDF、関数、リソース管理、およびインテリジェント診断を行うためのインタラクティブなデータ分析ツールです。