peft

100개 이상의 LLM 및 VLM을 위한 통합 효율적 미세 조정(ACL 2024)

🤗 PEFT: 최첨단 매개변수 효율적 미세 조정(Parameter-Efficient Fine-Tuning).

PEFT 또는 풀 파라미터를 사용하여 600개 이상의 LLM(Qwen3.6, DeepSeek-V4, GLM-5.1, InternLM3, Llama4, ...) 및 300개 이상의 MLLM(Qwen3-VL, Qwen3-Omni, InternVL3.5, Ovis2.5, GLM4.5v, Gemma4, Llava, Phi4, ...)을 학습/미세조정(CPT/SFT/DPO/GRPO)하는 툴킷 (AAAI 2025).

Firefly: Qwen2.5, Qwen2, Yi1.5, Phi-3, Llama3, Gemma, MiniCPM, Yi, Deepseek, Orion, Xverse, Mixtral-8x7B, Zephyr, Mistral, Baichuan2, Llama2, Llama, Qwen, Baichuan, ChatGLM2, InternLM, Ziya2, Vicuna, Bloom 등 대형 모델 학습을 지원하는 대형 모델 학습 도구

단일 YAML로 LLM 파인튜닝. 레이어 스트리밍을 통해 4GB 노트북 GPU에서 8B 모델 학습 가능

Huggingface Transformers 실전 가이드 강의 영상은 Bilibili와 YouTube에 동시 업데이트됩니다.

peft를 이용한 LLM 파인튜닝

나만의 LLM을 구축, 개인화 및 제어하세요. 데이터 전처리부터 파인튜닝까지, xTuring은 오픈소스 LLM을 개인화하는 쉬운 방법을 제공합니다.

Apple Silicon Mac에서 LLM 파인튜닝. MLX 네이티브 기반 SFT, DPO, GRPO, Vision, TTS, STT, Embedding, OCR 파인튜닝 지원. Unsloth 호환 API.

Qwen-3 및 Stable Diffusion 시리즈를 기반으로 한 DeepSeek Engram 아키텍처 연구

HF, vLLM, SGLang을 통해 Nvidia, AMD, Intel GPU 및 Intel/AMD/Apple CPU의 하드웨어 가속을 지원하는 LLM 모델 양자화(압축) 툴킷.

대형 언어 모델을 활용한 음성, 언어, 오디오, 음악 처리 프레임워크

"PyTorch와 Hugging Face로 LLM 미세조정하기 핸즈온 가이드" 도서의 공식 저장소

Hugging Face 모델이 로컬 GPU에 적합하고 파인튜닝이 가능한지 추정합니다.