pretraining

Tự triển khai một LLM giống ChatGPT bằng PyTorch từ đầu, từng bước một

Cộng đồng Llama tiếng Trung, tổng hợp thời gian thực tài liệu học tập Llama mới nhất, xây dựng hệ sinh thái mã nguồn mở mô hình lớn Llama tiếng Trung tốt nhất, hoàn toàn mã nguồn mở và có thể thương mại hóa

Công nghệ chung để kích hoạt các tính năng AI với LLM và MLLM

Kho lưu trữ chính thức của OFA (ICML 2022). Bài báo: OFA: Hợp nhất các kiến trúc, tác vụ và phương thức thông qua một framework học tập chuỗi sang chuỗi đơn giản

mPLUG-Owl: Dòng mô hình ngôn ngữ lớn đa phương thức mạnh mẽ

HRM-Text là một mô hình tạo văn bản 1B dựa trên kiến trúc HRM, được tăng cường khả năng hoàn thành tác vụ và suy luận không gian ẩn.

Các tài liệu nghiên cứu về tiền huấn luyện và học tập tự giám sát trên Mạng Nơ-ron đồ thị (GNN).

[ICLR'23 Spotlight🔥] Quá trình huấn luyện trước kiểu BERT/MAE thành công đầu tiên trên bất kỳ mạng tích chập nào; Bản cài đặt PyTorch của "Designing BERT for Convolutional Networks: Sparse and Hierarchical Masked Modeling"

GraphGen: Nâng cao quá trình tinh chỉnh có giám sát cho LLM với việc tạo dữ liệu tổng hợp dựa trên tri thức

Kho lưu trữ chính thức cho các phương pháp thuộc chuỗi Uni-Mol

Mã huấn luyện trước và suy luận cho mô hình ngôn ngữ hồi tiếp chiều sâu quy mô lớn

【ICLR 2024🔥】 Mở rộng tiền huấn luyện Video-Language sang N-modality thông qua căn chỉnh ngữ nghĩa dựa trên ngôn ngữ.

Danh sách tổng hợp các bài báo về 3D Vision trong lĩnh vực Robotics thời đại mô hình lớn (LLMs/VLMs), lấy cảm hứng từ awesome-computer-vision, bao gồm bài báo, mã nguồn và các trang web liên quan

Triển khai chính thức của MARS: Khai phá sức mạnh của việc giảm phương sai để huấn luyện các mô hình lớn.

Dự án cá nhân: MPP-Qwen14B & MPP-Qwen-Next (Đường ống song song đa phương thức dựa trên Qwen-LM). Hỗ trợ [video/hình ảnh/đa hình ảnh] {sft/hội thoại}. Đừng để sự nghèo nàn giới hạn trí tưởng tượng của bạn! Huấn luyện MLLM kiểu LLaVA 8B/14B của riêng bạn trên RTX3090/4090 24GB.

Kho lưu trữ chính thức cho "Craw4LLM: Thu thập dữ liệu web hiệu quả để tiền huấn luyện LLM"

Saprot: Mô hình ngôn ngữ protein với bảng chữ cái cấu trúc (AA+3Di).

A high-performance framework for training LLMs, VLMs, diffusion, and embodied models on NVIDIA GPUs and Kunlun XPUs.

PITI: Pretraining is All You Need cho dịch ảnh sang ảnh