transformers

21の教訓、Generative AIでの構築を始めよう

PyTorchでChatGPTライクなLLMをゼロから段階的に実装。

100以上のLLMおよびVLMの統一的効率的なファインチューニング (ACL 2024)

🧑‍🏫 60以上のディープラーニング論文の実装/チュートリアルと、並行ノート 📝。トランスフォーマー（original, xl, switch, feedback, vit, ...）、オプティマイザ（adam, adabelief, sophia, ...）、GANs（cyclegan, stylegan2, ...）、🎮強化学習（ppo, dqn）、capsnet、蒸留（distillation, ...）など🧠

学び、構築し、他者のためにリリースする。

PytorchにおけるVision Transformerの実装。単一のトランスフォーマーエンコーダのみでビジョン分類のSOTAを達成するシンプルな方法

CVPR 2026の論文とオープンソースプロジェクトのまとめ

🤗 PEFT: 最先端のParameter-Efficient Fine-Tuning。

機械学習エンジニアリング オープンブック

エージェント、アシスタント、エンタープライズ検索のためのプライベートAIプラットフォーム。内蔵エージェントビルダー、ディープリサーチ、ドキュメント分析、マルチモデルサポート、エージェント向けAPI接続機能を備える。

大規模なTransformerモデルの継続的な研究トレーニング

ウェブ向けの最先端の機械学習。サーバーを必要とせず、ブラウザ上で🤗 Transformersを直接実行できます！

RWKV（読み方：RwaKuv）は、優れたLLM性能を持つRNNであり、GPTトランスフォーマーのように直接学習（並列化可能）することもできます。現在RWKV-7「Goose」を使用しています。これはRNNとトランスフォーマーの長所を組み合わせたもので、優れた性能、線形時間、定数空間（kv-cache不要）、高速学習、無限のctx_len、無料の文埋め込みを提供します。

優れたモデルズーを備えた、使いやすく強力なLLMおよびSLMライブラリ。

💡 セマンティック検索、LLMオーケストレーション、言語モデルワークフローのためのオールインワンAIフレームワーク。

PyTorchベースの音声ツールキット

このリポジトリには、HuggingFaceのTransformersライブラリを使用して作成したデモが含まれています。

500以上の事前学習済み畳み込みおよびTransformerベースのバックボーンを備えたセマンティックセグメンテーションモデル。

💥 研究および本番環境向けに最適化された高速な最先端トークナイザー

OpenVINO™は、AI推論の最適化とデプロイのためのオープンソースツールキットです。

テキスト、画像、構造化データ全体で機密データ（PII）を検出、編集、マスキング、匿名化するためのオープンソースフレームワーク。NLP、パターンマッチング、カスタマイズ可能なパイプラインをサポート。

ローカルで動作するAndroid向けのオープンソースリアルタイム翻訳アプリ

Rayベースの使いやすいスケーラブルで高性能なエージェンティックRLフレームワーク (PPO & DAPO & REINFORCE++ & VLM & TIS & vLLM & Ray & Async RL)

単一のコード行を変更するだけで、GPTを任意のLLMに置き換え可能。Xinferenceを使用すると、オープンソース、音声、マルチモーダルモデルをクラウド、オンプレミス、またはラップトップ上で実行できます。すべて統一された本番環境対応の推論APIを介して。

データダウンロードからテキスト生成まで、LLMをトレーニングするための簡単な方法。

SANA：Linear Diffusion Transformerによる効率的な高解像度画像合成

[NeurIPS 2024 Best Paper Award][GPT beats diffusion🔥] [visual generationにおけるスケーリング則📈] 「Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction」の公式実装。自己回帰型画像生成のための*超シンプルでユーザーフレンドリーながら最先端*のコードベース！

BertViz: TransformerモデルにおけるAttentionの可視化

PaLMアーキテクチャ上に実装されたRLHF (Reinforcement Learning with Human Feedback)。基本的にChatGPTだがPaLMを使用している。

BERTとc-TF-IDFを活用し、容易に解釈可能なトピックを作成。