parallelism

Rustにおける並行プログラミングのためのツール

oneAPI Threading Building Blocks (oneTBB)

純粋なGoでの画像処理アルゴリズム

並行処理と並列処理のための C++ 標準ライブラリ

Node.js を使用した高性能マルチコアコンピューティングによるアプリケーション、スクリプト、自動化の構築

並列計算と科学的機械学習 (SciML): 手法と応用 (MIT 18.337J/6.338J)

コンパイラとシステムの最適化に対する機械学習の活用に関連する、必読の学術論文、ツールおよびデータセットのリンク集

Yahoo! Pipes をモデルにした Python ストリーム処理エンジン

キャッシュ、並列処理、量子化、CPUオフロード機能を備えた、DiT向けのPyTorchネイティブ推論エンジン。

Dプログラミング言語の標準ライブラリ

Java の並行処理の問題点をシンプルな例で紹介。百聞は一見に如かず。

メッセージパッシンググラフとしてプログラムを記述し、デフォルトで全てが並列実行されるデータフロープログラミング言語。強力な静的型付けを持ち、マシンコードにコンパイル可能で、Go と相互運用でき、ノードエディタによるビジュアルプログラミングをサポートします。LLM と非常に相性が良いです。

Zigにおける、サブナノ秒のオーバーヘッドを持つきめ細やかな並行処理。

PyTorch による GPipe の実装

CPU負荷の高い処理のために新しいJSプロセスを作成する

[CVPR 2024 Highlight] DistriFusion: 高解像度Diffusion Models向けの分散並列推論

連合学習のベンチマーク。コミュニティ向けに捧ぐ 🤗

Parallel Collectors は、Stream API を使用した Java での並列コレクション処理を容易にするツールキットです。

GPUクラスターにおけるAlphaFoldのトレーニングと推論の最適化

PaSh: 軽負荷なデータ並列 Shell 処理

最先端のマルチスレッディングランタイム：メッセージパッシングベース、高速、スケーラブル、極めて低オーバーヘッド

Pax は、大規模モデルのトレーニングのための Jax ベースの機械学習フレームワークです。高度かつ完全に設定可能な実験と並列処理を可能にし、業界をリードするモデルの FLOP 利用率を示しています。

Knapsackは、テストを並列CIノードに均等に分割して高速なCIビルドを実行し、時間を節約します。