intentee

大規模なLLM（およびVLM）のセルフホストに向けたオープンソースのLLM/VLMロードバランサーおよびサービングプラットフォーム🏓🦙 llm-dやDocker Model Runnerなどの代替プロジェクトで、より少ない構成要素とggmlエコシステムを基盤としたシンプルなデプロイメントを実現。CPUおよびGPUで動作します。