llama

逐步实现 llama3 推理、掌握核心概念、掌握过程推导、实现代码。

此存储库提供程序代码，利用 LlamaIndex、Deep Lake 和 Pinecone 建立 Generative AI 的检索增强生成（RAG）代码，并运用 OpenAI 与 Hugging Face 模型进行生成与评估。

简单且高效的 LLM 微调工具（支持 LLaMA、LLaMA2、LLaMA3、Qwen、Baichuan、GLM、Falcon），大模型高效量化训练与部署。

kani (カニ) 是一个高度可客制化的工具呼叫语言模型微框架。(NLP-OSS @ EMNLP 2023)

Copilots 本地化了吗？用于代码补全、项目生成、shell 协助等功能的本地 LLM Copilots 前沿。立即寻找塑造明天开发者体验的工具！

赋予应用程序智慧：直接整合 llama.cpp 以利用硬件加速进行本地推理的 Go 应用程序

开源本地 AI SDK - 在设备端运行 AI，无需云端、无需 API 密钥。支持 GGUF、RAG、图像、音乐与视频生成、语音转文字、P2P 推理等。跨平台：Linux、macOS、Windows、Android、iOS。

又一个语言模型：使用 C++/CUDA 实现的 LLM 推理，除 I/O 外不依赖任何库

由 Groq、Cartesia 与 Vercel 驱动的快速语音助手

[ECCV2024] 具备局部视觉标记化功能的接地多模态大型语言模型

使用 TensorFlow 整理从文本预处理到 Topic Models、BERT、GPT、LLM 等最新模型下游任务的深度学习 NLP 存储库。

本地 AI 助理。

LLaVA-Mini 是一个统一的大型多模态模型 (LMM)，能以高效方式支持图像、高分辨率图像及视频的理解。

使用 AnglE 训练与推论强大的句子嵌入 | 🔥 STS 与 MTEB 排行榜 SOTA

在 Visual Studio Code 中搭配 Continue 扩展功能使用 Code Llama。这是 GitHub Copilot 的本地 LLM 替代方案。

基于 LLM 的多代理强化训练与推理框架

Chat snowflake - 文字转 SQL

🏗️ 轻松微调、构建与部署开源 LLM！

[ICML 2024] LESS：为目标指令微调选择具影响力的数据

AI 驱动的日常任务助手，由 Llama 3、DeepSeek R1 以及 HuggingFace 上的众多模型提供支持。

一个反应式 CLI，可通过 Ollama、ChatGPT、Gemini、Claude、Mistral 等 AI 为 Git 和 Jujutsu 生成提交信息

设备上的本地人工记忆。

用于 LLM 的低延迟与高吞吐量服务引擎

[ACL 2024] 具备区块扩展功能的 Progressive LLaMA。

此仓库列出了一些优秀的 CUDA、cuda-python、cuBLAS、cuDNN、CUTLASS、TensorRT、TensorRT-LLM、Triton、TVM、MLIR、PTX 与高性能计算 (HPC) 项目。

RESTai 是一个 AIaaS (AI as a Service) 开源平台。支持多种由 Ollama/vLLM 等驱动的公有与本地 LLM。提供精确的嵌入使用、微调、分析等功能。内置具备动态加载生成器的图像/音频生成功能、即时聊天部署、基于区块的图形化语言、提示词版本控制等。

开源、本地且可自托管的高性能语言推理服务器，支持通过 WebRTC、REST 与 WS 进行 ASR/STT、TTS 与 LLM 推理

Open Model Engine (OME) — Kubernetes operator for LLM serving, GPU scheduling, and model lifecycle management. Works with SGLang, vLLM, TensorRT-LLM, and Triton