localllm

ローカルで実行されているAIモデルを使用して、ウェブブラウジングを支援する。

ハードウェア上で実際に動作し、最高のパフォーマンスを発揮するローカルLLMを見つける。パラメータ数ではなく、実測の時事性を考慮したベンチマークでランク付け。ワンコマンドで即座に実行可能。

ローカルのOpenAI/Anthropic互換サーバー（llama.cpp, vllmなど）向けの信頼性の高いモデルスワッピング

llama、deepseek-distill、kokoro などのローカル LLM をブラウザ内で実行

Stenoは、すべての機密性の高い会話のための、セキュリティが高くプライバシーを最優先したAIメモ帳およびノートテイカーです。WindowsおよびMacOSに対応。政府および防衛セクター向け

大規模言語モデル（LLM）を使用した汎用情報検索エージェントシステム。

[ICML 2024] SqueezeLLM: 密度・スパース量子化