cuda-kernels

初心者向けのモダンなCUDA学習ノート（PyTorch使用）、200以上のCUDAカーネル、Tensor Cores、HGEMM、FA-2 MMA。

CUDA Toolkitの機能を実証するCUDA開発者向けサンプル

LMDeployは、LLMの圧縮、デプロイ、サービングのためのツールキットである。

Rustのみで高速なGPUコードの記述と実行のためのライブラリおよびツールのエコシステム。

コンシューマー向けおよび異種混在ハードウェア向けのLLM推測的推論サーバー。

CUDAコア演算ライブラリ

形状チェックされたテンソルとニューラルネットワークを備えた、Rustでのディープラーニング

CUDAツールキットの安全なRustラッパー

TypeScript APIとRustバックエンドを持つ機械学習ライブラリ。CUDAとWebGPUの互換性があり、MLフレームワークやモデルの内部動作を理解するために構築されています。

cuDNN Frontendは、NVIDIAによるcuDNNライブラリへのモダンでオープンソースなエントリーポイントであり、高性能なオープンソースカーネルのコレクションを拡大しています。

CUDAカーネルベンチマークライブラリ

純粋なRust + CUDAによるLLM推論エンジン — PyTorchなし、OpenAI互換、Qwen3からKimi-K2まで提供

FlashRTは、小バッチかつ低レイテンシが求められるAIワークロード向けの高性能リアルタイム推論エンジンです。主な統合機能として、Pi0、Pi0.5、GROOT N1.6、Pi0-FASTのプロダクションVLA制御をサポートします。また、qwen3.6-27BなどのLLMもサポートしています。