IST-DASLab/marlin
@IST-DASLab16~32 토큰의 중간 배치 크기에서 이상치에 가까운 약 4배의 속도 향상을 달성할 수 있는 FP16xINT4 LLM 추론 커널
스타
1,138
포크
92
언어
Python
라이선스
Apache-2.0
마지막 푸시
2년 전
관련 인텔 (0)
아직 관련 인텔이 없습니다
이 저장소는 radar가 추적하는 어떤 소스에도 아직 등장하지 않았습니다. 수집기는 예약에 따라 실행됩니다——이 저장소를 다루게 되면 다시 확인하세요.