llm-training

Tìm kiếm các thông tin bí mật với Gitleaks 🔑

Dự án này nhằm chia sẻ các nguyên lý kỹ thuật liên quan đến LLM và kinh nghiệm thực chiến (kỹ thuật hóa LLM, ứng dụng thực tế của LLM).

Khung mã nguồn thấp để xây dựng LLM tùy chỉnh, mạng nơ-ron và các mô hình AI khác

Nền tảng tính toán AI dành cho các nhóm tiên phong. SkyPilot biến các tài nguyên tính toán AI rời rạc thành một siêu máy tính AI duy nhất, giúp các nhóm AI tiên phong xây dựng trí tuệ tùy chỉnh nhanh hơn.

Triton Kernel hiệu quả cho việc huấn luyện LLM

Phổ biến hóa Học tăng cường cho các LLM.

H2O LLM Studio - một framework và giao diện đồ họa không cần lập trình để tinh chỉnh LLM. Tài liệu: https://docs.h2o.ai/h2o-llmstudio/

OpenLake là một công cụ lưu trữ hiệu suất cao dành cho việc suy luận LLM và huấn luyện GPU hiệu quả

verl-agent là một phần mở rộng của veRL, được thiết kế để huấn luyện các LLM/VLM agent thông qua RL. verl-agent cũng là mã nguồn chính thức cho bài báo "Group-in-Group Policy Optimization for LLM Agent Training"

MoBA: Mixture of Block Attention dành cho các LLM ngữ cảnh dài (Long-Context LLMs)

DLRover: Hệ thống học sâu phân tán tự động

Nvidia GPU exporter cho prometheus sử dụng tệp nhị phân nvidia-smi HOẶC sử dụng NVML

GraphGen: Nâng cao quá trình tinh chỉnh có giám sát cho LLM với việc tạo dữ liệu tổng hợp dựa trên tri thức

Byted PyTorch Distributed để đào tạo quy mô lớn các LLM và RL

“AI-Compass” sẽ định hướng cho cộng đồng khi điều hướng trong đại dương công nghệ AI, dù bạn là người mới bắt đầu hay nhà phát triển nâng cao, bạn đều có thể tìm thấy con đường dẫn đến các hướng đi lớn của AI tại đây. Nhằm giúp nhà phát triển hiểu một cách có hệ thống các khái niệm cốt lõi, công nghệ chủ đạo, xu hướng biên giới của AI, và nắm vững toàn bộ quá trình từ lý thuyết đến thực tiễn thông qua thực hành.

Adan: Thuật toán động lượng Nesterov thích ứng giúp tối ưu hóa các mô hình học sâu nhanh hơn

Bộ sưu tập các bài báo, báo cáo kỹ thuật, khung làm việc và công cụ được tuyển chọn cho việc chưng cất theo chính sách (OPD) của các mô hình ngôn ngữ lớn

LLM-PowerHouse: Khai phá tiềm năng của LLM thông qua các hướng dẫn được tuyển chọn, phương pháp thực hành tốt nhất và mã nguồn sẵn sàng sử dụng cho việc huấn luyện và suy luận tùy chỉnh.

USP: Unified (hay còn gọi là Hybrid, 2D) Sequence Parallel Attention cho việc huấn luyện và suy luận mô hình Transformers ngữ cảnh dài

Bộ sưu tập các bài báo và dự án mã nguồn mở ICLR qua các năm, bao gồm ICLR2021, ICLR2022, ICLR2023, ICLR2024 và ICLR2025.

Tinh chỉnh (Fine-Tuning) mô hình ngôn ngữ lớn (LLM).

Continual learning infra for self-improving agents