transformer

PaddleSlim은 딥 모델 압축 및 아키텍처 탐색을 위한 오픈소스 라이브러리입니다.

Safe RLHF: 안전한 인간 피드백 기반 강화 학습을 통한 제약된 가치 정렬

통합 준지도 학습 코드베이스 (NeurIPS'22)

Tiny Model, Big Logic: 다양성 기반 최적화가 VibeThinker-1.5B에서 대규모 모델 추론 능력을 이끌어냅니다.

CPU와 GPU에서 transformer 추론(Bert, Albert, GPT2, Decoders 등)을 위한 빠르고 사용자 친화적인 런타임

[ICLR'23 Spotlight & ECCV'24 & IJCV'24] MapTR: 온라인 벡터화 HD 맵 구성을 위한 구조화된 모델링 및 학습.

"Retinexformer: 저조도 이미지 개선을 위한 단일 단계 Retinex 기반 Transformer" (ICCV 2023 최다 피인용 Top-10 🏆) 및 (NTIRE 2024 준우승 🏆) 및 (NTIRE 2025 우승 🏆) 및 (NTIRE 2026 우승 🏆)

최근 Transformer 기반 CV 연구 논문 목록

바닥부터 AI를 배우는 데 도움이 되는 노트북 및 기타 파일 모음.

이 저장소는 손글씨 생성을 위한 필체와 문자 스타일 분리(Disentangling Writer and Character Styles for Handwriting Generation, CVPR 2023)의 공식 구현입니다.

무료 오프라인 OCR 중국어 텍스트 감지 및 인식 SDK

[TPAMI'23] 광학 흐름, 스테레오 및 깊이 추정의 통합

Parallax는 어디서나 자신만의 AI 클러스터를 구축할 수 있게 해주는 분산 모델 서빙 프레임워크입니다.

PoolFormer: 비전(CVPR 2022 Oral)에 실제로 필요한 것은 MetaFormer입니다

Qwen-3 및 Stable Diffusion 시리즈를 기반으로 한 DeepSeek Engram 아키텍처 연구

Attention is all you need 구현체

Transformers4Rec은 시퀀셜 및 세션 기반 추천을 위한 유연하고 효율적인 라이브러리로, PyTorch와 함께 작동합니다.

🎓 체계적인 LLM 구축 코스｜🛠️ 사전 학습 데이터 엔지니어링, Tokenizer, Transformer, MoE, GPU 프로그래밍 (CUDA/Triton), 분산 학습, Scaling Laws, 추론 최적화 및 정렬 (SFT/RLHF/GRPO) 포함｜🚀 6개의 점진적 과제 + 코드 기반, LLM 풀스택 인지 체계 구축

문맥화된 토픽 모델링을 실행하기 위한 파이썬 패키지. CTM은 문맥화된 임베딩(예: BERT)과 토픽 모델을 결합하여 일관성 있는 토픽을 도출합니다. EACL 및 ACL 2021에 발표되었습니다(Bianchi 등).

다국어 텍스트, 이미지, 비디오 전반의 콘텐츠 이해 및 생성을 위한 포켓 사이즈 멀티모달 AI, OpenAI CLIP 및 LLaVA보다 최대 5배 빠름 🖼️ & 🖋️

전 세계의 우수한 인공지능(AI) 오픈 소스 프로젝트를 모았습니다.

PyTorch 기반의 신경망 기계 번역에 중점을 둔 Sequence-to-sequence 프레임워크

논문, 동영상, 블로그, 공식 저장소 및 Colab 노트북을 포함하는 자연어 처리용 Transformers 모델 모음

TensorFlow 기반의 EEG 작업(신호) 분류를 위한 딥러닝 라이브러리

[NeurIPS 2020] "DeepSVG: A Hierarchical Generative Network for Vector Graphics Animation" 논문 공식 코드. SVG 데이터를 활용한 딥러닝용 PyTorch 라이브러리 포함.

Transformer 네트워크, 어텐션 메커니즘, GPT, BERT, ChatGPT, LLM, 전이 학습에 중점을 둔 NLP 리소스 모음

OpenSTL: 시공간 예측 학습을 위한 종합 벤치마크

트랜스포머를 이용한 신경망 기반 질문 생성

"Conformer: Convolution-augmented Transformer for Speech Recognition" (INTERSPEECH 2020) 논문의 비공식 PyTorch 구현체

SwissArmyTransformer는 자신만의 Transformer 변형 모델을 개발할 수 있는 유연하고 강력한 라이브러리입니다.