pyspark

ポータブルなPythonデータフレームライブラリ

Spark向けにMLアルゴリズムを移植した、シンプルで分散型の機械学習Pythonライブラリ。

最先端の自然言語処理 (State of the Art Natural Language Processing)。

Apache Linkis は、上位アプリケーションと基盤データエンジンの間の接続、ガバナンス、オーケストレーションを容易にする計算ミドルウェア層を構築します

Rustで書かれた Apache Spark のドロップイン代替であり、バッチ処理、ストリーム処理、および計算負荷の高いAIワークロードを統合します。

Apache Spark の優れたパッケージとリソースのキュレーションリスト。

Petastorm ライブラリを使用すると、Apache Parquet 形式のデータセットからディープラーニングモデルの単一マシンまたは分散トレーニングと評価を行うことができます。Tensorflow、Pytorch、PySpark などの ML フレームワークをサポートし、純粋な Python コードから使用できます。

データフレームライブラリ間の軽量で拡張可能な互換レイヤー

IPython / Jupyterノートブック形式のビッグデータ分析および機械学習向けApache Spark & Python (pySpark) チュートリアル

:truck: Pandas、Dask、cuDF、Dask-cuDF、Vaex、PySpark を使ったアジャイルなデータ前処理ワークフローを簡単に実現

リモートのSparkクラスターを操作するためのJupyterマジックおよびカーネル

Hopsworks - Feature Store を備えたデータ密集型 AI プラットフォーム

PySpark を使用した基本アルゴリズムを提供す PySpark-Tutorial

GraphFramesは、DataFrameベースのグラフ機能を提供するApache Spark用パッケージです。

Data Algorithms ブック向けの MapReduce、Spark、Java、Scala のコード集。

Sparkクラスター内でH2Oの機能を提供するSparkling Water

80以上のDevOpsおよびデータCLIツール - AWS、GCP、GCF Python Cloud Functions、ログ匿名化ツール、Spark、Hadoop、HBase、Hive、Impala、Linux、Docker、Sparkデータコンバーターおよびバリデーター（Avro/Parquet/JSON/CSV/INI/XML/YAML）、Travis CI、AWS CloudFormation、Elasticsearch、Solrなど

効率的なデータパイプラインを構築するためのPythonフレームワーク。モジュール性とコラボレーションを促進し、シンプルで再利用可能なコンポーネントから複雑なパイプラインの作成を可能にします。

Scriptis は、スクリプト開発（SQL、Pyspark、HiveQL）、タスク送信（Spark、Hive）、UDF、関数、リソース管理、およびインテリジェント診断を行うためのインタラクティブなデータ分析ツールです。

分かりやすいエラーメッセージを備えた PySpark テストヘルパーメソッド

開発者の生産性を向上させるためのpysparkメソッド 📣 👯 🎉

Pandas、Polars、Spark、SnowparkのDataFrameを人間味をもって比較するツールなど！

Docker上のJupyterLabインターフェースを使用して独自のクラスターを構築し、Scala、Python (PySpark)、R (SparkR) で Apache Spark を学ぶ :zap: