pretraining

PyTorch를 사용하여 처음부터 단계별로 ChatGPT와 유사한 LLM 구현하기

Llama 중국 커뮤니티, 최신 Llama 학습 자료 실시간 집계, 최고의 중국어 Llama 대형 모델 오픈소스 생태계 구축, 완전 오픈소스 상업적 이용 가능

LLM 및 MLLM을 활용한 AI 기능 구현을 위한 범용 기술

OFA (ICML 2022) 공식 저장소. 논문: OFA: Unifying Architectures, Tasks, and Modalities Through a Simple Sequence-to-Sequence Learning Framework

mPLUG-Owl: 강력한 멀티모달 대형 언어 모델 패밀리

HRM-Text는 HRM 아키텍처를 기반으로 한 1B 텍스트 생성 모델로, 태스크 완료 및 잠재 공간 추론 기능이 강화되었습니다.

그래프 신경망(GNN)의 사전 학습 및 자기 지도 학습 관련 논문 모음

[ICLR'23 Spotlight🔥] 컨볼루션 네트워크 최초의 성공적인 BERT/MAE 스타일 사전 학습; "Designing BERT for Convolutional Networks: Sparse and Hierarchical Masked Modeling" 논문의 PyTorch 구현체

GraphGen: 지식 기반 합성 데이터 생성을 통한 LLM의 지도 미세 조정 향상

Uni-Mol 시리즈 메서드 공식 저장소

대규모 깊이 순환 언어 모델을 위한 사전 학습 및 추론 코드

【ICLR 2024🔥】 언어 기반 의미론적 정렬을 통한 비디오-언어 사전 학습의 N 모달리티 확장

LLM/VLM 등 거대 모델 시대의 로보틱스 분야와 관련된 3D Vision 논문 큐레이션 목록 (awesome-computer-vision에서 영감을 받았으며 논문, 코드, 관련 웹사이트 포함)

MARS 공식 구현체: 대형 모델 학습을 위한 분산 감소의 강력한 활용

개인 프로젝트: MPP-Qwen14B 및 MPP-Qwen-Next(Qwen-LM 기반 다중 모달 파이프라인 병렬 처리). 비디오/이미지/다중 이미지 SFT 및 대화를 지원하며, RTX3090/4090 24GB 환경에서 8B/14B LLaVA 스타일 MLLM을 학습할 수 있습니다.

LLM 사전 학습을 위한 효율적인 웹 크롤링 도구 Craw4LLM 공식 저장소

Saprot: 구조적 알파벳(AA+3Di)을 활용한 단백질 언어 모델

A high-performance framework for training LLMs, VLMs, diffusion, and embodied models on NVIDIA GPUs and Kunlun XPUs.

PITI: 이미지 간 변환을 위해 사전 학습만 있으면 됩니다