genai

🚀 Awesome System for Machine Learning ⚡️ AI System Papers and Industry Practice. ⚡️ System for Machine Learning, LLM (Large Language Model), GenAI (Generative AI). 🍻 OSDI, NSDI, SIGCOMM, SoCC, MLSys, etc. 🗃️ Llama3, Mistral, etc. 🧑‍💻 Video Tutorials.

为 LLM 优化推理代理

[ICLR2025 Spotlight] SVDQuant：通过低秩组件吸收离群值，适用于4位元扩散模型

AI 代理的通用记忆层，提供可扩展、可扩充、可互操作的记忆存储与检索，简化 AI 代理状态管理，适用于下一代自主系统

ComfyUI 的 Nunchaku 插件

AI 工程开源平台：原生支持 OpenTelemetry 的 LLM 可观测性、GPU 监控、护栏（Guardrails）、评估、提示词管理、保险箱（Vault）、游乐场（Playground）。🚀💻 集成超过 50 种 LLM 提供商、向量数据库（VectorDB）、Agent 框架与 GPU。

生成式 AI 的完整资源，包含详细的路线图、项目、使用案例、面试准备和代码练习。

像构建 API 与微服务一样构建、运行和扩展 AI agent

中国联通的元景万物 Agent 平台是一个企业级、多租户的 AI agent 开发平台。它帮助使用者构建智慧型 agent、工作流程和 rag 等应用程式，同时支援模型管理。平台采用对开发者友善的授权条款，欢迎所有开发者在此平台上进行开发。

轻松构建可靠的生成式 AI 解决方案，无额外开销 🍕

GenAI Processors 是一个轻量级的 Python 库，可实现高效、并行的内容处理。

开源的 RAG 平台：内置引文、深度研究、22 种以上文件格式、分区、MCP 服务器等功能。

让我们将高分辨率生成普及化！(CVPR 2024)

Witsy：桌面 AI 助理 / 通用 MCP 客户端

一款简单易用和高性能的 AI 部署框架

一个开源、代码优先的 Java 工具包，用于灵活且受控地构建、评估和部署复杂的 AI Agent。

LLPhant - 使用 OpenAI GPT 4 的全面性 PHP 生成式 AI 框架。受 Langchain 启发

此存储库为复杂问答提供先进的检索增强生成（RAG）解决方案。它使用复杂的基于图形的算法来处理任务。

用于 AI 数据应用的统一多模态后端

为您的 PC 构建 AI 智能体

为您的数据建立最佳生产就绪检索增强生成（RAG）设置的工具包

一个供 Windows 开发者学习如何将具备本地模型与 API 的 AI 加入 Windows 应用程序的开源项目。

通过玩《街头霸王 3》来对 LLM 进行基准测试！评估 LLM 质量的新方法

一款开源、代码优先的 TypeScript 工具套件，用于灵活且可控地构建、评估和部署复杂的 AI Agent。

Infrastructure for the next generation of voice agents, designed to provide universal memory. It is divided into a left brain and a right brain, storing information and emotions respectively, while a fully streaming architecture eliminates latency at the fundamental level.

Jlama 是适用于 Java 的现代 LLM 推理引擎

适用于 Python 的 Neo4j GraphRAG

用于增强 OpenVINO™ 推理的神经网络压缩框架

赋予 agent 强大能力的工具集。

[ICLR 2026] LightMem：轻量且高效的内存增强生成