apache-spark

エージェント、LLM、MLモデルのためのオープンソースAIエンジニアリングプラットフォーム。MLflowは、あらゆる規模のチームがコストを管理し、モデルとデータへのアクセスを管理しながら、本番品質のAIアプリケーションをデバッグ、評価、監視、最適化できるようにします。

lakeFS - データレイクのためのデータバージョン管理 | データのためのGit

Spark向けにMLアルゴリズムを移植した、シンプルで分散型の機械学習Pythonライブラリ。

Rustで書かれた Apache Spark のドロップイン代替であり、バッチ処理、ストリーム処理、および計算負荷の高いAIワークロードを統合します。

Kubernetes 上で Apache Spark アプリケーションのライフサイクルを管理するための Kubernetes オペレーター。

.NET for Apache® Spark™ により、.NET 開発者が Apache Spark™ を簡単に利用できるようになります。

Apache Spark Docker イメージ

Feathr – エンタープライズ向けの拡張可能で統合されたデータおよび AI エンジニアリングプラットフォーム

Apache Spark の優れたパッケージとリソースのキュレーションリスト。

Apache Spark の内部構造

『Learning Spark: Lightning-Fast Data Analytics [第2版]』のGitHubリポジトリ

GraphFramesは、DataFrameベースのグラフ機能を提供するApache Spark用パッケージです。

Data Algorithms ブック向けの MapReduce、Spark、Java、Scala のコード集。

Apache Spark 用 R インターフェース

Apache Spark向けのC#およびF#言語バインディングと拡張機能

完全にマネージドなApache Parquetの実装

Apache Sparkのパフォーマンス分析およびトラブルシューティングライブラリであるsparkMeasureの開発コードを含むリポジトリです。Sparkのタスクやステージのメトリクスの収集、集約、エクスポートを簡素化し、インタラクティブな分析、テスト、本番監視ワークフローにおいて開発者やデータエンジニアが実用的に使用できるように設計されています。

開発者の生産性を向上させるためのpysparkメソッド 📣 👯 🎉

Apache Sparkクラスターを起動するためのコマンドラインツール。

Apache Kafka に関するリスト

Scikit-Learn、R、Apache Sparkのモデルの真のリアルタイムスコアリング（1ms未満）のためのREST Webサービス