toverainc/willow-inference-server

开源、本地且可自托管的高性能语言推理服务器，支持通过 WebRTC、REST 与 WS 进行 ASR/STT、TTS 与 LLM 推理

↗ 在 GitHub 打开

星数

512

Fork 数

60

语言

Python

许可

Apache-2.0

最后推送

7个月前

Python webrtc privacy llm deep-learning text-to-speech cuda whisper llama speech-recognition speech-to-text vicuna willow

还没有相关情报

radar 追踪的来源里还没有出现过这个 repo。收集器按计划运行——等它覆盖到这个 repo 再回来看看。