peft

Vereinheitlichte effiziente Feinabstimmung von 100+ LLMs & VLMs (ACL 2024)

🤗 PEFT: State-of-the-art Parameter-effizientes Fine-Tuning.

Verwenden Sie PEFT oder Vollparameter für CPT/SFT/DPO/GRPO von über 600 LLMs und über 300 MLLMs (AAAI 2025).

Firefly: Ein Tool zum Trainieren großer Sprachmodelle (LLMs), das das Training von Qwen2.5, Qwen2, Yi1.5, Phi-3, Llama3, Gemma, MiniCPM, Yi, Deepseek, Orion, Xverse, Mixtral-8x7B, Zephyr, Mistral, Baichuan2, Llama2, Llama, Qwen, Baichuan, ChatGLM2, InternLM, Ziya2, Vicuna, Bloom und weiteren LLMs unterstützt.

LLMs aus einer einzigen YAML-Datei fine-tunen. Layer-Streaming trainiert ein 8B-Modell auf einer 4-GB-Laptop-GPU.

Praktischer Leitfaden zu Huggingface Transformers; Videokurse werden synchron auf Bilibili und YouTube aktualisiert

LLM-Finetuning mit peft

Erstellen, personalisieren und steuern Sie Ihre eigenen LLMs. Von der Datenvorverarbeitung bis zum Fine-Tuning bietet xTuring einen einfachen Weg zur Personalisierung von Open-Source-LLMs. Treten Sie unserer Discord-Community bei: https://discord.gg/TgHXuSJEk6

Fine-Tuning von LLMs auf Ihrem Mac mit Apple Silicon. SFT-, DPO-, GRPO-, Vision-, TTS-, STT-, Embedding- und OCR-Fine-Tuning – nativ auf MLX. Unsloth-kompatible API.

Forschung zur DeepSeek-Engram-Architektur basierend auf der Qwen-3- und Stable-Diffusion-Serie.

LLM-Modell-Quantisierungs- (Kompprimierungs-) Toolkit mit Hardware-Beschleunigungsunterstützung für Nvidia-, AMD-, Intel-GPUs und Intel/AMD/Apple-CPUs über HF, vLLM und SGLang.

Ein Framework für Sprach-, Audio-, Musik- und Textverarbeitung mit Large Language Models

Offizielles Repository meines Buches „A Hands-On Guide to Fine-Tuning LLMs with PyTorch and Hugging Face“

Schätzt ab, ob ein Hugging Face-Modell auf deine lokale GPU passt und dort feinabgestimmt werden kann.