instruction-tuning

PyTorch를 사용하여 처음부터 단계별로 ChatGPT와 유사한 LLM 구현하기

100개 이상의 LLM 및 VLM을 위한 통합 효율적 미세 조정(ACL 2024)

[NeurIPS'23 Oral] GPT-4V 수준 이상의 기능을 목표로 구축된 Visual Instruction Tuning (LLaVA).

:sparkles::sparkles: 멀티모달 대규모 언어 모델의 최신 발전 동향

"A Survey of Large Language Models" 설문 논문을 위한 공식 GitHub 페이지

파운데이션 모델을 위한, 그리고 모델과 함께하는 데이터 처리! 🍎 🍋 🌽 ➡️ ➡️🍸 🍹 🍷

ICML 2024 논문 NExT-GPT(Any-to-Any Multimodal Large Language Model)를 위한 코드 및 모델

【EMNLP 2024🔥】Video-LLaVA: 투영 전 정렬을 통한 통합 시각 표현 학습

Prompt 및 LLM 논문, 오픈소스 데이터 및 모델, AIGC 애플리케이션 정리

🦦 Otter, OpenFlamingo(DeepMind Flamingo의 오픈소스 버전) 기반의 멀티모달 모델로, MIMIC-IT으로 학습되어 향상된 지시 따르기 및 문맥 내 학습 능력을 보여줍니다.

InternLM-XComposer2.5-OmniLive: 장기 스트리밍 비디오 및 오디오 상호작용을 위한 종합 멀티모달 시스템

mPLUG-Owl: 강력한 멀티모달 대형 언어 모델 패밀리

[ECCV2024] 멀티모달 이해를 위한 비디오 파운데이션 모델 및 데이터

Cambrian-1은 비전 중심 설계가 적용된 멀티모달 LLM 패밀리입니다.

사후 학습 및 구조화된 데이터 추출을 위한 합성 데이터 큐레이션

오픈소스 지식 기반 대형 언어 모델 프레임워크

지시어 추종 LLM(ChatGPT, LLaMA, Alpaca) 학습을 위한 오픈소스 데이터셋 모음

DataDreamer: 프롬프트 입력, 합성 데이터 생성, 모델 학습 및 정렬을 수행합니다.

멀티모달 사고의 연쇄(Multimodal Chain-of-Thought) 추론: 종합 조사

[ICML2024 (Oral)] DoRA: Weight-Decomposed Low-Rank Adaptation의 공식 PyTorch 구현

[SIGIR'2024] "GraphGPT: 대규모 언어 모델을 위한 그래프 지시 튜닝"

생성적 표현 지침 튜닝

Emotion-LLaMA: 지시어 튜닝을 통한 멀티모달 감정 인식 및 추론

Deita: 정렬을 위한 데이터 효율적인 인스트럭션 튜닝 [ICLR2024]

멀티태스크 파인튜닝을 통한 다국어 일반화

[ICML 2024] LESS: 타겟 지시어 튜닝을 위한 영향력 있는 데이터 선택

DialogStudio: 대화형 AI를 위한 가장 풍부하고 다양한 통합 데이터셋 컬렉션 및 지시 인식 모델 지향

Instruction Tuning 및 Following 관련 논문 및 데이터셋