toverainc/willow-inference-server

開源、本地且可自託管的高效能語言推論伺服器，支援透過 WebRTC、REST 與 WS 進行 ASR/STT、TTS 與 LLM 推論

↗ 在 GitHub 開啟

星數

512

Fork 數

60

語言

Python

授權

Apache-2.0

最後推送

7 個月前

Python webrtc privacy llm deep-learning text-to-speech cuda whisper llama speech-recognition speech-to-text vicuna willow

還沒有相關情報

radar 追蹤的來源裡還沒有出現過這個 repo。收集器照排程執行——等它涵蓋到這個 repo 再回來看看。