peft

100以上のLLMおよびVLMの統一的効率的なファインチューニング (ACL 2024)

🤗 PEFT: 最先端のParameter-Efficient Fine-Tuning。

PEFTまたはFull-parameterを使用して、600以上のLLM (Qwen3.6, DeepSeek-V4, GLM-5.1, InternLM3, Llama4, ...) および300以上のMLLM (Qwen3-VL, Qwen3-Omni, InternVL3.5, Ovis2.5, GLM4.5v, Gemma4, Llava, Phi4, ...) に適用する (AAAI 2025)。

Firefly: 大規模言語モデルのトレーニングツール。Qwen2.5、Qwen2、Yi1.5、Phi-3、Llama3、Gemma、MiniCPM、Yi、Deepseek、Orion、Xverse、Mixtral-8x7B、Zephyr、Mistral、Baichuan2、Llma2、Llama、Qwen、Baichuan、ChatGLM2、InternLM、Ziya2、Vicuna、Bloomなどの大規模モデルのトレーニングをサポートします。

1つのYAMLファイルからLLMをファインチューニング。レイヤーストリーミングにより、4 GBのラップトップGPUで8Bモデルを学習可能。

Huggingface Transformersの実践的なハンズオン講座動画をB站とYouTubeで同時更新中。

peftを使用したLLMのファインチューニング

独自の LLM の構築、パーソナライズ、制御。データの前処理からファインチューニングまで、xTuring はオープンソース LLM をパーソナライズする簡単な方法を提供します。Discord コミュニティに参加してください: https://discord.gg/TgHXuSJEk6

Apple Silicon 搭載 Mac で LLM をファインチューニング。MLX 上でネイティブ動作する SFT、DPO、GRPO、Vision、TTS、STT、Embedding、OCR のファインチューニング対応。Unsloth 互換 API。

Qwen-3およびStable Diffusionシリーズに基づくDeepSeek Engramアーキテクチャの研究

HF、vLLM、SGLang を介して Nvidia、AMD、Intel GPU および Intel/AMD/Apple CPU のハードウェアアクセラレーションをサポートする LLM モデル量子化 (圧縮) ツールキット。

大規模言語モデルを用いた音声、言語、オーディオ、音楽処理のためのフレームワーク

拙著『A Hands-On Guide to Fine-Tuning LLMs with PyTorch and Hugging Face』の公式リポジトリ

Hugging Face モデルがローカルの GPU に収まり、ファインチューニング可能かを見積もります。