transformer

PaddleSlim は、ディープモデルの圧縮とアーキテクチャ探索のためのオープンソースライブラリです。

Safe RLHF: 人間からのフィードバックによる安全な強化学習を通じた制約付き価値アライメント

統合型半教師あり学習コードベース (NeurIPS'22)

Tiny Model, Big Logic: 多様性駆動型最適化による VibeThinker-1.5B の大規模モデル推論能力の引き出し

CPU および GPU 上で動作する、Transformer 推論（Bert、Albert、GPT2、Decoder など）向けの高速で使いやすいランタイム。

[ICLR'23 Spotlight & ECCV'24 & IJCV'24] MapTR: オンライン高精度ベクトル地図構築のための構造化モデリングと学習

「Retinexformer: One-stage Retinex-based Transformer for Low-light Image Enhancement」 (ICCV 2023 Top-10 引用 🏆) & (NTIRE 2024 準優勝 🏆) & (NTIRE 2025 優勝 🏆) & (NTIRE 2026 優勝 🏆)

近年の Transformer ベースの CV 研究を集めた論文リスト

ゼロからAIを学ぶのに役立つノートブックやその他のファイルのコレクション

手書き文字生成のための「Disentangling Writer and Character Styles for Handwriting Generation (CVPR 2023)」の公式実装リポジトリです。

無料オフラインOCR：オフラインでの中国語テキスト検出および認識SDK

[TPAMI'23] オプティカルフロー、ステレオ、深度推定の統合

Parallaxは、どこでも独自のAIクラスターを構築できる分散モデルサービングフレームワークです

PoolFormer: ビジョンタスクに真に求められる MetaFormer (CVPR 2022 Oral)

Qwen-3およびStable Diffusionシリーズに基づくDeepSeek Engramアーキテクチャの研究

Attention is all you need の実装

Transformers4Recは、シーケンシャルおよびセッションベースの推薦のための柔軟で効率的なライブラリであり、PyTorchと連携して動作します

🎓 LLM（大規模言語モデル）構築の体系的カリキュラム｜🛠️ 事前学習データエンジニアリング、Tokenizer、Transformer、MoE、GPUプログラミング（CUDA/Triton）、分散学習、スケーリング則、推論最適化、アライメント（SFT/RLHF/GRPO）を網羅｜🚀 6つの段階的な課題とコード駆動により、LLMのフルスタックな認知体系を構築

コンテキスト化されたトピックモデリングを実行するための Python パッケージ。CTM は、コンテキスト化された埋め込み（BERT など）とトピックモデルを組み合わせて一貫性のあるトピックを抽出します。EACL および ACL 2021 にて発表（Bianchi et al.）

多言語のテキスト、画像、動画を対象としたコンテンツ理解と生成のためのポケットサイズマルチモーダルAI。OpenAI CLIPやLLaVAと比較して最大5倍高速

世界中から優れた人工知能（AI）のオープンソースプロジェクトを集結させる。

PyTorch をベースにした、ニューラル機械翻訳（NMT）に特化したシークエンス・ツー・シークエンス（Seq2Seq）フレームワーク

自然言語処理向けのTransformersモデルに関する優れたリソース集。論文、動画、ブログ、公式リポジトリ、Colabノートブックが含まれています。

TensorFlowベースの、EEGタスク（信号）分類用ディープラーニングライブラリ

[NeurIPS 2020] 論文「DeepSVG: A Hierarchical Generative Network for Vector Graphics Animation」の公式コード。SVGデータを用いたディープラーニング用のPyTorchライブラリを含みます。

Transformer ネットワーク、アテンションメカニズム、GPT、BERT、ChatGPT、LLM、転移学習に焦点を当てた NLP リソースのキュレーションリスト。

OpenSTL: 時空間予測学習の包括的なベンチマーク

transformers を使用したニューラル質問生成

[非公式] 「Conformer: Convolution-augmented Transformer for Speech Recognition」(INTERSPEECH 2020) の PyTorch 実装

SwissArmyTransformer は、独自の Transformer バリアントを開発するための柔軟で強力なライブラリです。