llm-training

Finde Geheimnisse mit Gitleaks 🔑

Dieses Projekt zielt darauf ab, Prinzipien und praktische Erfahrungen zu großen Modellen zu teilen (großmodellengineering, großmodell-Anwendungen)

Low-Code-Framework zum Erstellen benutzerdefinierter LLMs, neuronaler Netze und anderer KI-Modelle.

Die KI-Compute-Plattform für führende Teams. SkyPilot verwandelt fragmentierte KI-Rechenleistung in einen einzigen KI-Supercomputer, sodass fortschrittliche KI-Teams benutzerdefinierte Intelligenz schneller entwickeln können.

Effiziente Triton-Kernel für das LLM-Training

Demokratisierung von Reinforcement Learning für LLMs

H2O LLM Studio – Ein Framework und eine No-Code-GUI zum Fine-Tuning von LLMs. Dokumentation: https://docs.h2o.ai/h2o-llmstudio/

OpenLake ist eine hochleistungsfähige Speicherengine für effiziente LLM-Inferenz und GPU-Training

verl-agent ist eine Erweiterung von veRL, entwickelt für das Training von LLM/VLM-Agenten mittels RL. verl-agent ist zudem der offizielle Code zum Paper „Group-in-Group Policy Optimization for LLM Agent Training“.

MoBA: Mixture of Block Attention für LLMs mit langem Kontext

DLRover: Ein automatisches verteiltes Deep-Learning-System

Nvidia GPU Exporter für Prometheus mit nvidia-smi-Binary oder NVML

GraphGen: Verbesserung des Supervised Fine-Tuning für LLMs durch wissensbasierte synthetische Datengenerierung

Byted PyTorch Distributed für das Hyperscale-Training von LLMs und RLs

„AI-Compass“ weist der Community den Weg im Ozean der KI-Technologien. Egal ob Anfänger oder fortgeschrittener Entwickler, hier findet jeder den Pfad zu den verschiedenen KI-Richtungen. Ziel ist es, Entwicklern zu helfen, die Kernkonzepte, Mainstream-Technologien und Zukunftstrends von KI systematisch zu verstehen und den gesamten Prozess von der Theorie bis zur Praxis durch Übung zu meistern.

Adan: Adaptiver Nesterov-Momentum-Algorithmus für eine schnellere Optimierung von Deep-Modellen

Eine kuratierte Sammlung von Artikeln, technischen Berichten, Frameworks und Tools zur On-Policy-Distillation (OPD) von großen Sprachmodellen

LLM-PowerHouse: Schöpfen Sie das Potenzial von LLMs durch kuratierte Tutorials, Best Practices und sofort einsatzbereiten Code für benutzerdefiniertes Training und Inferenz voll aus.

Continual learning infra for self-improving agents

USP: Unified (bzw. Hybrid, 2D) Sequence Parallel Attention für das Training und die Inferenz von Long-Context-Transformer-Modellen

Sammlung von ICLR-Artikeln und Open-Source-Projekten der letzten Jahre, einschließlich ICLR 2021, 2022, 2023, 2024 und 2025.

LLM (Large Language Model) Fine-Tuning.