localllm

使用本地執行的 AI 模型協助您的網頁瀏覽

找出在你的硬體上實際運行且效能最佳的本地 LLM。根據真實、考慮新舊的基準測試排序，而非參數量。單指令即可即時執行。

可靠的模型切換，適用於任何本地 OpenAI/Anthropic 兼容伺服器 - llama.cpp、vllm 等

在瀏覽器中執行本機 LLM，例如 llama、deepseek-distill、kokoro 等

Steno 是一款高度安全、隱私至上的 AI 記事本與記錄工具，適用於所有機密對話。支援 Windows 與 MacOS。適用於政府與國防部門。

基於大型語言模型（LLMs）的通用資訊尋求代理系統。

[ICML 2024] SqueezeLLM：稠密與稀疏量化