peft

Tinh chỉnh hiệu quả thống nhất cho hơn 100 LLM & VLM (ACL 2024)

🤗 PEFT: Tinh chỉnh hiệu quả về tham số tiên tiến nhất.

Sử dụng PEFT hoặc Full-parameter cho CPT/SFT/DPO/GRPO hơn 600 LLM (Qwen3.6, DeepSeek-V4, GLM-5.1, InternLM3, Llama4, ...) và hơn 300 MLLM (Qwen3-VL, Qwen3-Omni, InternVL3.5, Ovis2.5, GLM4.5v, Gemma4, Llava, Phi4, ...) (AAAI 2025).

Firefly: Công cụ huấn luyện LLM, hỗ trợ huấn luyện Qwen2.5, Qwen2, Yi1.5, Phi-3, Llama3, Gemma, MiniCPM, Yi, Deepseek, Orion, Xverse, Mixtral-8x7B, Zephyr, Mistral, Baichuan2, Llama2, Llama, Qwen, Baichuan, ChatGLM2, InternLM, Ziya2, Vicuna, Bloom và nhiều mô hình lớn khác

Tinh chỉnh LLMs chỉ từ một YAML. Layer streaming đào tạo mô hình 8B trên GPU laptop 4 GB.

Khóa học thực chiến Huggingface Transformers được cập nhật đồng thời trên Bilibili và YouTube

Tinh chỉnh LLM với peft

Xây dựng, cá nhân hóa và điều khiển LLM của riêng bạn. Từ tiền xử lý dữ liệu đến tinh chỉnh, xTuring cung cấp cách dễ dàng để cá nhân hóa các LLM mã nguồn mở. Tham gia cộng đồng discord của chúng tôi: https://discord.gg/TgHXuSJEk6

Tinh chỉnh LLM trên máy Mac của bạn với Apple Silicon. SFT, DPO, GRPO, Vision, TTS, STT, Embedding và tinh chỉnh OCR — chạy gốc trên MLX. API tương thích với Unsloth.

Nghiên cứu Kiến trúc DeepSeek Engram dựa trên các dòng Qwen-3 và Stable Diffusion.

Bộ công cụ lượng tử hóa (nén) mô hình LLM hỗ trợ tăng tốc phần cứng cho GPU Nvidia, AMD, Intel và CPU Intel/AMD/Apple thông qua HF, vLLM và SGLang.

Framework xử lý Tiếng nói, Ngôn ngữ, Âm thanh, Âm nhạc với Large Language Model

Kho lưu trữ chính thức cho cuốn sách "Hướng dẫn thực hành tinh chỉnh LLM với PyTorch và Hugging Face"

Ước tính liệu một mô hình Hugging Face có phù hợp và có thể tinh chỉnh trên GPU cục bộ của bạn hay không.