withcatai/node-llama-cpp

使用 llama.cpp 的 node.js 綁定在本地機器上執行 AI 模型。在生成層級強制模型輸出符合 JSON schema

↗ 在 GitHub 開啟

星數

2,170

Fork 數

215

語言

TypeScript

授權

MIT

最後推送

4 週前

TypeScript metal nodejs ai llm cuda self-hosted cmake gpu vulkan llama json-schema bindings gguf llama-cpp function-calling grammar prebuilt-binaries embedding cmake-js catai

還沒有相關情報

radar 追蹤的來源裡還沒有出現過這個 repo。收集器照排程執行——等它涵蓋到這個 repo 再回來看看。