localllm

使用本地运行的 AI 模型协助您的网页浏览

寻找在你的硬件上实际运行且性能最佳的本地 LLM。根据真实、考虑新旧的基准测试排序，而非参数量。单命令即可即时运行。

可靠的模型切换，适用于任何本地 OpenAI/Anthropic 兼容服务器 - llama.cpp、vllm 等

在浏览器中运行本地 LLM，例如 llama、deepseek-distill、kokoro 等

Steno 是一款高度安全、隐私至上的 AI 记事本与记录工具，适用于所有机密对话。支持 Windows 与 MacOS。适用于政府与国防部门。

基于大型语言模型（LLMs）的通用信息寻求代理系统。

[ICML 2024] SqueezeLLM：稠密与稀疏量化