distributed-computing

Data Algorithms ブック向けの MapReduce、Spark、Java、Scala のコード集。

R パッケージ: future: すべての人のための R における統合並列および分散処理

LizardFS は、GPLv3 ライセンスの下で提供されるオープンソースの分散ファイルシステムです。

Argo Workflows、Tekton Pipelines、Apache Airflow などの異なるワークフローエンジン上でワークフローを構築・管理するための統一インターフェース

lichess.org 向けの分散 Stockfish 解析

PyTorchを高速化するBagua

分散システムのリソースに関する素晴らしいリスト

クラウドの力を解き放つ

並列計算に関する優れたリソースのキュレーションリスト

Talosネットワーク用のGPUワーカークライアント。Talosアカウントと連携し、WebSocket経由でオープンモデルの推論ジョブを提供し、報酬用の稼働時間を報告します。

Backend.AI は、一般的なコンピューティング/ML フレームワークや多様なプログラミング言語をホストする、効率的なコンテナベースの計算クラスタプラットフォームです。CUDA GPU、ROCm GPU、Gaudi NPU、Google TPU、GraphCore IPU、その他の NPU を含む、プラグイン可能な異種アクセラレータをサポートしています。

ランダムフォレストや勾配ブースティング木などの決定木モデルのトレーニング、評価、解釈、本番運用を行うためのライブラリ

連合学習（フェデレーテッドラーニング）のための実験用プラットフォーム

実際のトラフィック、部分的な障害、セキュリティレビュー、要件の変化に耐えるシステムを設計するエンジニア向けの、ソースに裏付けられたコースおよびアーキテクチャリファレンス。エンタープライズシステム設計、分散システム、AIシステム、サイバーセキュリティ、信頼性、クラウド、HPC、エッジ、ミッションクリティカルインフラストラクチャを網羅しています。

Apache Spark をベースにした、シンプルで軽量な ETL フレームワーク

HPCシステムのサブノードタスク向けユーザーフレンドリーなスケジューラー

MPIベースアプリケーション（分散トレーニング、HPCなど）向けのKubernetes Operator

Self-hosted AI agent OS. Your memory, chat, agents, and files stay on hardware you own, offline by default, cloud by choice. Offline AI memory (taOSmd), self-hosted multi-framework group chat, a full web desktop + app store, and auto-clustering across the consumer hardware you already have (Orange/Raspberry Pi, Mac mini, gaming PC).