llm-training

Gitleaks로 시크릿 정보 탐색 🔑

본 프로젝트는 대형 모델 관련 기술 원리 및 실전 경험(대형 모델 엔지니어링, 대형 모델 애플리케이션 구현)을 공유하는 것을 목표로 합니다.

커스텀 LLM, 신경망 및 기타 AI 모델을 구축하기 위한 로우코드 프레임워크

프론티어 팀을 위한 AI 연산 플랫폼입니다. SkyPilot은 분산된 AI 연산을 하나의 AI 슈퍼컴퓨터로 통합하여, 프론티어 AI 팀이 맞춤형 인공지능을 더 빠르게 구축할 수 있도록 지원합니다.

LLM 학습을 위한 효율적인 Triton Kernel

LLM을 위한 강화 학습의 대중화

H2O LLM Studio - LLM 미세 조정을 위한 프레임워크 및 노코드 GUI. 문서: https://docs.h2o.ai/h2o-llmstudio/

OpenLake는 효율적인 LLM 추론과 GPU 학습을 위한 고성능 스토리지 엔진입니다

verl-agent는 RL을 통한 LLM/VLM 에이전트 학습을 위해 설계된 veRL의 확장입니다. 또한 'Group-in-Group Policy Optimization for LLM Agent Training' 논문의 공식 코드입니다.

MoBA: 롱 컨텍스트 LLM을 위한 블록 어텐션의 혼합 (Mixture of Block Attention)

DLRover: 자동 분산 딥러닝 시스템

nvidia-smi 바이너리 또는 NVML을 사용하는 prometheus용 Nvidia GPU 익스포터

GraphGen: 지식 기반 합성 데이터 생성을 통한 LLM의 지도 미세 조정 향상

LLM 및 RL의 대규모 학습을 위한 Byted PyTorch Distributed

AI 기술의 바다를 항해하는 커뮤니티의 길잡이가 되어 줄 'AI-Compass'. 초보자와 숙련된 개발자 모두 AI의 다양한 분야로 향하는 경로를 찾을 수 있습니다.

Adan: 더 빠른 딥러닝 모델 최적화를 위한 적응형 Nesterov 모멘텀 알고리즘

대형 언어 모델의 온폴리시 증류(OPD)를 위한 논문, 기술 보고서, 프레임워크 및 도구 모음

LLM-PowerHouse: 엄선된 튜토리얼, 모범 사례, 커스텀 학습 및 추론을 위한 즉시 사용 가능한 코드를 통해 LLM의 잠재력을 극대화합니다.

Continual learning infra for self-improving agents

USP: 긴 컨텍스트 Transformer 모델 학습 및 추론을 위한 통합(하이브리드, 2D) 시퀀스 병렬 어텐션

ICLR 2021, 2022, 2023, 2024, 2025 논문 및 오픈소스 프로젝트 모음입니다.

LLM(대규모 언어 모델) 파인튜닝