b4rtaz/distributed-llama

分散式 LLM 推理。將家用裝置連接成強大叢集，加速 LLM 推理。裝置越多，推理越快

↗ 在 GitHub 開啟

星數

3,050

Fork 數

248

語言

C++

授權

MIT

最後推送

2 個月前

C++llm llm-inference neural-network llama3 llms llama2 open-llm distributed-computing distributed-llm

還沒有相關情報

radar 追蹤的來源裡還沒有出現過這個 repo。收集器照排程執行——等它涵蓋到這個 repo 再回來看看。