gpt-2

RWKV（发音为 RwaKuv）是一种具备卓越大型语言模型性能的 RNN，也可像 GPT 变换器那样直接训练（可并行化）。我们已达到 RWKV-7“Goose”阶段。它结合了 RNN 与变换器的优势——卓越性能、线性时间、恒定空间（无 kv-cache）、快速训练、无限上下文长度，以及免费句子嵌入。

LoRA：大型语言模型低秩适应的实现 loralib 代码

此仓库包含我使用 HuggingFace 的 Transformers 库制作的示例。

[NeurIPS 2024 最佳论文奖][GPT 打败 diffusion🔥] [视觉生成的 scaling laws📈] 官方实现“Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction”——一个*超简洁、用户友好且达到最先进水平*的自回归图像生成代码库

使用 BERT 分词器的 GPT2 训练代码中文版本

Awesome Pretrained Chinese NLP Models，高质量中文预训练模型、大模型、多模态模型与大语言模型集合。

基于 PyTorch 的开源预训练模型框架与预训练模型库

Rust 原生即用 NLP 管道与基于 transformer 的模型（BERT、DistilBERT、GPT2 等）。

构建、个性化并控制您自己的 LLM。从数据预处理到微调，xTuring 提供了一种简单的方法来个性化开源 LLM。加入我们的 discord 社区：https://discord.gg/TgHXuSJEk6

使用 TensorFlow 的机器学习、自然语言处理与文本生成工具包。这是 CASL 项目的一部分：http://casl-project.ai/

Kashgari 是一个构建在 tf.keras 之上的生产级 NLP 迁移学习框架，用于文本标记与文本分类，包含 Word2Vec、BERT 与 GPT2 语言嵌入。

使用 GGML 库在 iOS 与 macOS 上离线运行 llama 等大型语言模型

源代码预训练大型语言模型使用指南

[CVPR 2025 Oral] Infinity ∞：为高分辨率图像合成扩展按位自回归建模。

Tabnine 的 Visual Studio Code 客户端。https://marketplace.visualstudio.com/items?itemName=TabNine.tabnine-vscode

🛸 在 spaCy 中使用预训练的 transformer，如 BERT、XLNet 和 GPT-2

本系列将带领您从 NLP 与 Computer Vision 的基础，一路探索至 Vision-Language Models 的尖端技术。

精选的 NLP 资源列表，聚焦于 Transformer 网络、注意力机制、GPT、BERT、ChatGPT、LLMs 与迁移学习。

基于 PyTorch 的 Tencent 预训练框架与预训练模型库

这个单词不存在

适用于 OpenAI GPT 模型（gpt-5、gpt-o*、gpt-4o 等）的最快 JavaScript BPE Tokenizer 编码解码器。移植自 OpenAI 的 tiktoken 并附加额外功能。

在 huggingface transformer 的任何生成模型（blommz-176B/bloom/gpt/bart/T5/MetaICL）上实现 ChatGPT RLHF（人类反馈强化学习）。