genai

🚀 Awesome System for Machine Learning ⚡️ AI System Papers and Industry Practice. ⚡️ System for Machine Learning, LLM (Large Language Model), GenAI (Generative AI). 🍻 OSDI, NSDI, SIGCOMM, SoCC, MLSys, etc. 🗃️ Llama3, Mistral, etc. 🧑‍💻 Video Tutorials.

為 LLM 優化推理代理

[ICLR2025 Spotlight] SVDQuant：通過低秩組件吸收離群值，適用於4位元擴散模型

AI 代理的通用記憶層，提供可擴展、可擴充、可互操作的記憶存儲與檢索，簡化 AI 代理狀態管理，適用於下一代自主系統

ComfyUI 的 Nunchaku 插件

AI 工程開源平台：原生支援 OpenTelemetry 的 LLM 可觀測性、GPU 監控、護欄（Guardrails）、評估、提示詞管理、保險箱（Vault）、遊樂場（Playground）。🚀💻 整合超過 50 種 LLM 提供商、向量資料庫（VectorDB）、Agent 框架與 GPU。

生成式 AI 的完整資源，包含詳細的路線圖、專案、使用案例、面試準備和程式碼練習。

像建構 API 與微服務一樣建構、執行和擴展 AI agent

中國聯通的元景萬物 Agent 平台是一個企業級、多租戶的 AI agent 開發平台。它幫助使用者建構智慧型 agent、工作流程和 rag 等應用程式，同時支援模型管理。平台採用對開發者友善的授權條款，歡迎所有開發者在此平台上進行開發。

輕鬆建構可靠的生成式 AI 解決方案，無額外開銷 🍕

GenAI Processors 是一個輕量級的 Python 程式庫，可實現高效、平行的內容處理。

開源的 RAG 平台：內建引文、深度研究、22 種以上檔案格式、分割區、MCP 伺服器等功能。

讓我們將高解析度生成普及化！(CVPR 2024)

Witsy：桌面 AI 助理 / 通用 MCP 客戶端

一款簡單易用且高效能的 AI 部署框架

一個開源、程式碼優先的 Java 工具包，用於靈活且受控地構建、評估和部署複雜的 AI Agent。

LLPhant - 使用 OpenAI GPT 4 的全面性 PHP 生成式 AI 框架。受 Langchain 啟發

此儲存庫為複雜問答提供先進的檢索增強生成（RAG）解決方案。它使用複雜的基於圖形的演算法來處理任務。

用於 AI 資料應用的統一多模態後端

為您的資料建立最佳生產就緒檢索增強生成（RAG）設定的工具包

為您的 PC 建置 AI 代理程式

一個供 Windows 開發者學習如何將具備本機模型與 API 的 AI 加入 Windows 應用程式的開源專案。

透過遊玩《快打旋風 3》來對 LLM 進行基準測試！評估 LLM 品質的新方法

在 AWS 上使用 AWS CDK 部署多 LLM 與多 RAG 驅動的聊天機器人的模組化且全方位解決方案（Amazon Bedrock、Anthropic、HuggingFace、OpenAI、Meta、AI21、Cohere、Mistral）

一款開源、程式碼優先的 TypeScript 工具套件，用於靈活且可控地建置、評估與部署複雜的 AI Agent。

Jlama 是適用於 Java 的現代化 LLM 推論引擎

適用於 Python 的 Neo4j GraphRAG

Infrastructure for the next generation of voice agents, designed to provide universal memory. It is divided into a left brain and a right brain, storing information and emotions respectively, while a fully streaming architecture eliminates latency at the fundamental level.

用於增強 OpenVINO™ 推理的神經網路壓縮框架

賦予 agent 強大能力的工具集。