karpathy

AI 代理自动在单 GPU nanochat 训练上执行研究

最简单、最快速的中型 GPT 训练/微调仓库

只要 100 美元即可购买的最佳 ChatGPT。

以简洁的原始 C/CUDA 实现 LLM 训练

最小化的 PyTorch 版 OpenAI GPT（生成式预训练变换器）训练实现

LLM Council 共同回答您最难的问题。

神经网络：从零到英雄

纯 C 单文件实现 Llama 2 推理

一个小型标量自动微分引擎及其上的神经网络库，提供类 PyTorch API

简洁、干净的 Byte Pair Encoding（BPE）算法实现，常用于 LLM 分词。

Video+code lecture on building nanoGPT from scratch

一个自回归字符级语言模型，用于创造更多东西

快速说明如何轻松使用 LLM 一起阅读书籍。非常好，我强烈推荐

将任何 git repo 转译为单一静态 HTML 页面，供人类或 LLM 阅读

一个用于可视化探索劳工统计局 (BLS) 职业展望手册数据的研究工具。这不是报告、论文或严肃的经济学出版物，而是用于可视化探索 BLS 数据的开发工具。

我的博客

重现 Yann LeCun 1989 年的论文“Backpropagation Applied to Handwritten Zip Code Recognition”，就我所知，这是使用反向传播训练神经网络最早的实际应用。

用 LLM 事后分析十年前的 Hacker News 讨论

缺失的 tiktoken 训练代码。