language-model

Go 语言编写的独立机器学习与自然语言处理库。

简繁扩展词库/声调编码/最全声调标注工具链/万象更新工具链/Rime语法模型：LMDG - Language, Model, Dictionary, Grammar。没错这里是万象拼音的“罗马帝国”!

RAPTOR 的官方实现：用于树状组织检索的递归抽象处理

中文对话 0.2B 小模型（ChatLM-Chinese-0.2B），开源所有数据集来源、数据清洗、tokenizer 训练、模型预训练、SFT 指令微调、RLHF 优化等流程的全部代码。支持下游任务 sft 微调，给出三元组信息抽取微调示例。

使用大型语言模型（LLMs）从代码自动建立架构图。

Macaw-LLM：整合图像、视频、音频与文本的多模态语言模型

适用于 RWKV 语言模型在 CPU 上进行 INT4/INT5/INT8 与 FP16 推理

小模型，大逻辑：多元驱动优化在 VibeThinker-1.5B 中引发大模型推理能力

[EMNLP 2025 Oral] MemoryOS 旨在为个性化 AI 代理提供记忆操作系统。

基础模型学习课程，从零开始到前沿技术

预训练中文 ELECTRA 模型

日本語LLM总结 - 日本语LLM概览

韩语 BERT 预训练区分大小写模型 (KoBERT)

🛸 在 spaCy 中使用预训练的 transformer，如 BERT、XLNet 和 GPT-2

计算任何 LLM 所需的 token/s 与 GPU 内存需求。支持 llama.cpp/ggml/bnb/QLoRA 量化

一个开源的知识型 Large Language Model 框架

在有限的运算资源内塞入（BERT 类型）语言模型的训练。

“Prismer: A Vision-Language Model with Multi-Task Experts”的实现。

Transformers4Rec 是一个灵活且高效的序列与基于会话的推荐库，可与 PyTorch 搭配使用。

根据论文《Cognitive Architectures for Language Agents》列出的语言代理列表

一个语音聊天应用程序

💁 自然语言处理 Transformers 模型精选宝库，包含论文、视频、博客、官方代码库以及 Colab 笔记本。 🛫☑️

用于训练遵循指令 LLM (ChatGPT、LLaMA、Alpaca) 的开源数据集集合

精选的 NLP 资源列表，聚焦于 Transformer 网络、注意力机制、GPT、BERT、ChatGPT、LLMs 与迁移学习。

[NeurIPS 2023] LLM-Pruner：大型语言模型的结构化剪枝。支持 Llama-3/3.1、Llama-2、LLaMA、BLOOM、Vicuna、Baichuan、TinyLlama 等。

ToRA 是一系列工具集成的推理 LLM 代理，旨在通过与工具交互来解决具挑战性的数学推理问题 [ICLR'24]。

Z80-μLM 是一个 2 比特量化语言模型，小到足以在 8 比特 Z80 处理器上运行。使用 Python 训练对话模型，将其导出为 CP/M .COM 二进制文件，并与您的复古电脑对话。

LangSmith 客户端 SDK 实现

Kaldi 的 Python 包装器

【兼容 ollama 和其他模型】将任何具有 OpenAI API 调用方法的模型集成到 PotPlayer 中。它能让你在观看视频时实时翻译字幕，从而打破语言障碍，提升你的观看体验。