withcatai/node-llama-cpp

使用 llama.cpp 的 node.js 绑定在本地机器上运行 AI 模型。在生成层级强制模型输出符合 JSON schema

↗ 在 GitHub 打开

星数

2,170

Fork 数

215

语言

TypeScript

许可

MIT

最后推送

4周前

TypeScript metal nodejs ai llm cuda self-hosted cmake gpu vulkan llama json-schema bindings gguf llama-cpp function-calling grammar prebuilt-binaries embedding cmake-js catai

还没有相关情报

radar 追踪的来源里还没有出现过这个 repo。收集器按计划运行——等它覆盖到这个 repo 再回来看看。