llm

使用 Go 语言编写的 AI gateway / AI control plane / AI proxy。为 OpenAI、Anthropic、Gemini、Groq、xAI、Ollama、vLLM 等提供统一的 OpenAI 兼容与 Anthropic 兼容 API。作为 LiteLLM 的替代方案，具备可观测性、安全护栏、流式传输、成本追踪、智能路由、粘性会话、故障转移、实时日志与使用量追踪。生产就绪。

FP16xINT4 LLM 推理核心，在 16-32 个 token 的中等批次大小下，可实现近乎理想的约 4 倍加速。

[NeurIPS 2023] LLM-Pruner：大型语言模型的结构化剪枝。支持 Llama-3/3.1、Llama-2、LLaMA、BLOOM、Vicuna、Baichuan、TinyLlama 等。

一个简单、本机托管的 Web 搜索 MCP 服务器，供 Local LLM 使用

[ICLR 2026] LightMem：轻量且高效的内存增强生成

一个开源、类似 PyTorch 的运行时，用于动态多智能体与多会话工作流。

NativeMind：您的完全私密、开源、端侧 AI 助理

Stop your AI from making things up — it proposes, deterministic tools decide, every claim checked against ground truth with evidence. Grounded facts and context survive resets. Reverse engineering is the proving ground. MCP server + CLI.

基于 OpenSearch 构建的开源、自托管企业与网站搜索服务器。支持网页/文件/数据库/云端来源爬取、20 种以上语言、REST API 以及 AI/RAG 与语义搜索。采用 Apache-2.0 授权。

统一 RAG Retrieval 的高效微调，包含 Embedding、ColBERT、ReRanker。

🚀 MassGen 是一个在终端机中运行的开源多智能体扩展系统，可自主协调前沿模型与智能体进行协作、推理并产生高质量的结果。| 加入我们的 Discord：discord.massgen.ai

开源、本地优先的桌面 AI 研究工作台，支持 Python/R 科学计算、MCP 生物信息工具、SSH/WSL/GPU 运行环境以及 OpenAI/Anthropic 模型。

你的 AI 会忘记，这个能记住。专为 vibecoders、产品负责人、CEO 与真正开发者打造的规范驱动编码工具——具备自我提升的上下文记忆、15 个 Agent、33 项技能，支持 /goal、agent-team 与自动循环工作流程，无需人工审查。消除上下文腐化，交付功能而非杂乱代码。支持 Claude Code 与 Codex。适用于任何技术栈

ToRA 是一系列工具集成的推理 LLM 代理，旨在通过与工具交互来解决具挑战性的数学推理问题 [ICLR'24]。

[NeurIPS 2025] TTRL：测试期强化学习

用于 AI 开发的 TypeScript 框架

Obsidian 的入门模板

基于 AI 的威胁建模工具，利用 OpenAI 的 GPT 模型根据 STRIDE 方法论为特定应用程序生成威胁模型。

为 AI 安全与 AI 辅助网络安全精选的公开源码、研究与商业工具列表——自动分类、agent 安全、AI/ML 供应链、渗透测试 agent、AI SAST、LLM 驱动模糊测试、威胁情报、SOC/SIEM 分类、逆向工程、LLM 红队演练等。

Schema-Guided Reasoning (SGR) 具备由 neuraldeep 社区创建的智能体系统设计

DataDreamer：提示、生成合成数据、训练与对齐模型。

一场 4 小时的编程工作坊，深入了解 LLM 的实现与应用

使用 Prometheus 与 GPT4 评估你的 LLM 响应 💯

Agent OS：将专家 Agent 保存在中心枢纽中，为每个任务建立临时的协调器。本地优先，适用于任何模型。

NobodyWho 是一款推理引擎，让你能在任何设备上高效地在本地运行 LLM。

使用 Rust、Tauri 与 React 构建的桌面多 Agent 框架，由 langgraph-rust 驱动。

整季字幕一次译完 —— .srt/.ass/.vtt/.lrc，支持 120+ 种语言与 27 个 LLM 提供者，时轴保持不变

使用 C++ 与 CUDA 构建你自己的高性能 LLM 推理引擎 - vLLM 的精简版

AI 协作电子表格。将单元格串联成强大的管线，实验提示词与模型，并实时评估 LLM 响应。通过无缝协作来构建与迭代 AI 应用程序。

比较可在消费级硬件上本地部署的不同 LLM 的性能。使用 Colab WebUI 亲自执行。