Lightning-AI

コード変更なしで、1基または10,000基以上のGPU上で、あらゆるサイズのAIモデルを事前学習・ファインチューニング。

事前学習、ファインチューニング、および大規模展開のためのレシピを備えた20以上の高性能LLM。

nanoGPTに基づいたLLaMA言語モデルの実装。flash attention、Int8およびGPTQ 4bit量子化、LoRAおよびLLaMA-Adapterファインチューニング、事前学習をサポート。Apache 2.0ライセンス。

ロジック、バッチ処理、スケーリングを完全に制御できるカスタムAI推論サーバーを構築するための最小限のPythonフレームワーク。

分散型スケーラブルな PyTorch アプリケーション向けの機械学習メトリクス

トレーニングと推論を高速化する PyTorch コンパイラ。パフォーマンス、メモリ、並列処理の最適化が組み込まれており、独自の最適化も簡単に記述可能

データローディングを最適化してモデルのトレーニングを高速化