withcatai/node-llama-cpp

llama.cpp の node.js バインディングを使用して、ローカルマシン上で AI モデルを実行します。生成レベルでモデル出力に JSON スキーマを強制します

↗ GitHub で開く

スター

2,167

フォーク

215

言語

TypeScript

ライセンス

MIT

最終プッシュ

3 週間前

TypeScript metal nodejs ai llm cuda self-hosted cmake gpu vulkan llama json-schema bindings gguf llama-cpp function-calling grammar prebuilt-binaries embedding cmake-js catai

関連 Intel はまだありません

このリポジトリは radar が追跡するソースにまだ登場していません。コレクターはスケジュールで動いています——このリポジトリがカバーされたらまた見てください。