NVIDIA-NeMo/Switchyard

Switchyard cho phép các ứng dụng LLM định tuyến lưu lượng giữa các mô hình và nhà cung cấp, đồng thời vẫn duy trì khả năng tương thích với API gốc của OpenAI và Anthropic - hỗ trợ lựa chọn mô hình linh hoạt, đo chuẩn và tối ưu hóa chi phí/hiệu năng.