xlite-dev/Awesome-LLM-Inference
@xlite-dev๐ ์ฝ๋์ ํจ๊ป ์ ๊ณต๋๋ ์์ ๋ Awesome LLM/VLM ์ถ๋ก ๋ ผ๋ฌธ ๋ชฉ๋ก: Flash-Attention, Paged-Attention, WINT8/4, ๋ณ๋ ฌํ ๋ฑ ๐
์คํ
5,482
ํฌํฌ
429
์ธ์ด
Python
๋ผ์ด์ ์ค
GPL-3.0
๋ง์ง๋ง ํธ์
4์ฃผ ์
๊ด๋ จ ์ธํ (0)
์์ง ๊ด๋ จ ์ธํ ์ด ์์ต๋๋ค
์ด ์ ์ฅ์๋ radar๊ฐ ์ถ์ ํ๋ ์ด๋ค ์์ค์๋ ์์ง ๋ฑ์ฅํ์ง ์์์ต๋๋ค. ์์ง๊ธฐ๋ ์์ฝ์ ๋ฐ๋ผ ์คํ๋ฉ๋๋คโโ์ด ์ ์ฅ์๋ฅผ ๋ค๋ฃจ๊ฒ ๋๋ฉด ๋ค์ ํ์ธํ์ธ์.