NVIDIA/TensorRT-LLM
@NVIDIATensorRT LLM은 사용자가 대규모 언어 모델(LLM)을 정의할 수 있는 사용하기 쉬운 Python API를 제공하며, NVIDIA GPU에서 효율적으로 추론을 수행할 수 있는 최신 최적화를 지원합니다. 또한 TensorRT LLM에는 고성능 방식으로 추론 실행을 조율하는 Python 및 C++ 런타임을 생성하는 구성 요소가 포함되어 있습니다.
스타
14,536
포크
2,716
언어
Python
라이선스
NOASSERTION
마지막 푸시
4일 전
관련 인텔 (0)
아직 관련 인텔이 없습니다
이 저장소는 radar가 추적하는 어떤 소스에도 아직 등장하지 않았습니다. 수집기는 예약에 따라 실행됩니다——이 저장소를 다루게 되면 다시 확인하세요.