llm-training

Gitleaksでシークレットを検索 🔑

本プロジェクトは、大規模モデル関連の技術原理および実戦経験（大規模モデルのエンジニアリング、大規模モデルのアプリケーション実装）を共有することを目的としています。

カスタムLLM、ニューラルネットワーク、その他のAIモデルを構築するためのローコードフレームワーク

最先端チームのためのAIコンピューティングプラットフォーム。SkyPilotは断片化されたAIコンピューティングを単一のAIスーパーコンピューターに変換し、最先端のAIチームがカスタムインテリジェンスをより速く構築できるようにします。

LLMトレーニングのための効率的なTritonカーネル

LLMのための強化学習の民主化

H2O LLM Studio - LLMのファインチューニングのためのフレームワークおよびノーコードGUI。ドキュメント: https://docs.h2o.ai/h2o-llmstudio/

OpenLake は、効率的な LLM 推論と GPU トレーニングを実現する高性能ストレージエンジンです

verl-agentはveRLの拡張であり、RLを介してLLM/VLMエージェントを訓練するために設計されています。また、論文「Group-in-Group Policy Optimization for LLM Agent Training」の公式コードでもあります。

MoBA: 長コンテキストLLMのためのMixture of Block Attention

DLRover：自動分散型ディープラーニングシステム

nvidia-smi バイナリまたは NVML を使用する Prometheus 用 Nvidia GPU エクスポーター

GraphGen: 知識駆動型の合成データ生成による LLM の教師ありファインチューニングの強化

大規模言語モデル（LLM）および強化学習（RL）のハイパースケールトレーニング向け Byted PyTorch Distributed

「AI-Compass」は、AI 技術の海原を航海するための指針をコミュニティに提供します。初心者から上級開発者まで、AI のあらゆる分野への道を見つけることができます。開発者が AI のコアコンセプト、主要技術、最新トレンドを体系的に理解し、実践を通じて理論から実装までの全プロセスを習得することを目的としています。

Adan: 深層学習モデルの高速化を実現する適応型Nesterovモメンタムアルゴリズム

大規模言語モデルのオンポリシー蒸留（OPD）に関する論文、テクニカルレポート、フレームワーク、ツールの厳選コレクション。

LLM-PowerHouse: カスタムトレーニングと推論のための厳選されたチュートリアル、ベストプラクティス、すぐに使えるコードを通じて、LLMの可能性を最大限に引き出す

USP: 長文脈 Transformer モデルのトレーニングと推論のための統一型（ハイブリッド / 2D）シーケンス並列アテンション

ICLR2021、ICLR2022、ICLR2023、ICLR2024、ICLR2025を含む、歴年のICLR論文とオープンソースプロジェクトのコレクション

LLM（大規模言語モデル）のファインチューニング