Lightning-AI/lit-llama

nanoGPTに基づいたLLaMA言語モデルの実装。flash attention、Int8およびGPTQ 4bit量子化、LoRAおよびLLaMA-Adapterファインチューニング、事前学習をサポート。Apache 2.0ライセンス。