b4rtaz/distributed-llama

分散式 LLM 推理。将家用设备连接成强大集群，加速 LLM 推理。设备越多，推理越快

↗ 在 GitHub 打开

星数

3,050

Fork 数

248

语言

C++

许可

MIT

最后推送

2个月前

C++llm llm-inference neural-network llama3 llms llama2 open-llm distributed-computing distributed-llm

还没有相关情报

radar 追踪的来源里还没有出现过这个 repo。收集器按计划运行——等它覆盖到这个 repo 再回来看看。