llama

逐步實現 llama3 推論、掌握核心概念、掌握過程推導、實作程式碼。

此儲存庫提供程式碼，利用 LlamaIndex、Deep Lake 和 Pinecone 建立 Generative AI 的檢索增強生成（RAG）程式碼，並運用 OpenAI 與 Hugging Face 模型進行生成與評估。

簡單且高效的 LLM 微調工具（支援 LLaMA、LLaMA2、LLaMA3、Qwen、Baichuan、GLM、Falcon），大模型高效量化訓練與部署。

kani (カニ) 是一個高度可客製化的工具呼叫語言模型微框架。(NLP-OSS @ EMNLP 2023)

Copilots 本地化了嗎？用於程式碼補全、專案生成、shell 協助等功能的本地 LLM Copilots 前沿。立即尋造形塑明天開發者體驗的工具！

賦予應用程式智慧：直接整合 llama.cpp 以利用硬體加速進行本地推論的 Go 應用程式

又一個語言模型：以 C++/CUDA 實作的 LLM 推論，除了 I/O 外不依賴任何函式庫

開源本地 AI SDK - 在裝置端執行 AI，無需雲端、無需 API 金鑰。支援 GGUF、RAG、影像、音樂與影片生成、語音轉文字、P2P 推理等。跨平台：Linux、macOS、Windows、Android、iOS。

由 Groq、Cartesia 與 Vercel 驅動的快速語音助理

[ECCV2024] 具備局部視覺標記化功能的接地多模態大型語言模型

使用 TensorFlow 整理從文字預處理到 Topic Models、BERT、GPT、LLM 等最新模型下游任務的深度學習 NLP 儲存庫。

本地 AI 助理。

LLaVA-Mini 是一個統一的大型多模態模型 (LMM)，能以高效方式支援圖像、高解析度圖像及影片的理解。

使用 AnglE 訓練與推論強大的句子嵌入 | 🔥 STS 與 MTEB 排行榜 SOTA

在 Visual Studio Code 中搭配 Continue 擴充功能使用 Code Llama。這是 GitHub Copilot 的本地 LLM 替代方案。

基於 LLM 的多代理強化訓練與推理框架

Chat snowflake - 文字轉 SQL

🏗️ 輕鬆微調、建置與部署開源 LLM！

[ICML 2024] LESS：為目標指令微調選擇具影響力的資料

AI 驅動的日常任務助手，由 Llama 3、DeepSeek R1 以及 HuggingFace 上的眾多模型提供支援。

一個反應式 CLI，可透過 Ollama、ChatGPT、Gemini、Claude、Mistral 等 AI 為 Git 和 Jujutsu 產生提交訊息

裝置上的本地人工記憶。

用於 LLM 的低延遲與高吞吐量服務引擎

[ACL 2024] 具備區塊擴充功能的 Progressive LLaMA。

RESTai 是一個 AIaaS (AI as a Service) 開源平台。支援多種由 Ollama/vLLM 等驅動的公有與本地 LLM。提供精確的嵌入使用、微調、分析等功能。內建具備動態載入生成器的圖像/音訊生成功能、即時聊天部署、基於區塊的圖形化語言、提示詞版本控制等。

此儲存庫列出了一些優秀的 CUDA、cuda-python、cuBLAS、cuDNN、CUTLASS、TensorRT、TensorRT-LLM、Triton、TVM、MLIR、PTX 與高效能運算 (HPC) 專案。

開源、本地且可自託管的高效能語言推論伺服器，支援透過 WebRTC、REST 與 WS 進行 ASR/STT、TTS 與 LLM 推論

Open Model Engine (OME) — Kubernetes operator for LLM serving, GPU scheduling, and model lifecycle management. Works with SGLang, vLLM, TensorRT-LLM, and Triton