llamacpp

Jan é uma alternativa de código aberto ao ChatGPT que roda 100% offline no seu computador.

Seu segundo cérebro de IA. Auto-hospedável. Obtenha respostas da web ou dos seus documentos. Crie agentes personalizados, agende automações, faça pesquisas profundas. Transforme qualquer LLM online ou local em sua IA pessoal e autônoma (gpt, claude, gemini, llama, qwen, mistral). Comece agora - grátis.

Framework unificado para construir pipelines de RAG corporativos com modelos pequenos e especializados

Um chatbot estilo ChatGPT auto-hospedado e offline. Desenvolvido com Llama 2. 100% privado, sem que nenhum dado deixe o seu dispositivo. Novo: Suporte a Code Llama!

Kit de ferramentas pronto para produção para executar IA localmente.

Troque o GPT por qualquer LLM alterando apenas uma linha de código. O Xinference permite executar modelos de código aberto, de fala e multimodais na nuvem, localmente ou no seu laptop — tudo através de uma API de inferência unificada e pronta para produção.

Quantização, kernels, runtime e motor de inferência para dispositivos móveis, wearables, casas inteligentes e robôs.

⚡ Mecanismo de inferência WebGPU em Rust puro — compatível com a API da OpenAI, nativo em GGUF, roda em qualquer GPU. Sem Python. Sem llama.cpp. Binário único.

Troca de modelo confiável para qualquer servidor local compatível com OpenAI/Anthropic - llama.cpp, vllm, etc.

Seu agente no terminal, equipado com ferramentas locais: escreve código, usa o terminal e navega na web. Crie seu próprio agente autônomo persistente.

Processamento de Linguagem Natural de última geração

Uma biblioteca C#/.NET para executar LLM (🦙LLaMA/LLaVA) no seu dispositivo local com eficiência.

The most no-nonsense, locally or API-hosted AI code completion plugin for Visual Studio Code - like GitHub Copilot but 100% free.

AGiXT é uma plataforma dinâmica de automação de agentes de IA que orquestra perfeitamente o gerenciamento de instruções e a execução de tarefas complexas em diversos provedores de IA. Combinando memória adaptativa, recursos inteligentes e um sistema de plugins versátil, o AGiXT oferece soluções de IA eficientes e abrangentes.

LSP-AI é um servidor de linguagem de código aberto que atua como backend para funcionalidades baseadas em IA, projetado para auxiliar e capacitar engenheiros de software, não para substituí-los.

RamaLama é uma ferramenta de código aberto para desenvolvedores que simplifica a hospedagem local de modelos de IA de qualquer fonte e facilita seu uso para inferência em produção, tudo através da linguagem familiar de containers.

Demonstração do Bonsai

Modelos de IA pré-treinados locais, instantâneos e controláveis em Rust

Conversão de texto em fala, RAG e LLMs. Tudo local!

Painel de controle para VLLM, Sglang, llama.cpp, exllamav3

Plataforma de balanceamento de carga e serviço de LLM/VLM de código aberto para auto-hospedagem de LLMs (e VLMs) em escala. Alternativa a projetos como llm-d, Docker Model Runner, etc., mas com menos partes móveis e implantações simples construídas em torno do ecossistema ggml. Executa em CPU e GPU.

Converse com seus modelos LLaMA favoritos em um aplicativo nativo para macOS.

Aplicativo de IA local e motor de inferência para agentes. Execute LLMs de pesos abertos localmente — privado, 100% offline no seu computador. Entre no nosso Discord: https://discord.com/invite/8wGSsvmg4V

Crie aplicações LLM prontas para produção e agentes avançados usando Python, LangChain e LangGraph. Este é o repositório complementar do livro sobre IA generativa com LangChain.

Calcule tokens/s e requisitos de memória GPU para qualquer LLM. Suporta quantização llama.cpp/ggml/bnb/QLoRA.

A maneira mais fácil de usar Ollama no .NET.

🌌 Dê alma aos seus personagens favoritos. Soul of Waifu é um aplicativo de desktop para RPG e companhia de IA com avatares Live2D/VRM, chat de voz e LLM local. Evoluam juntos através de chats imersivos, aventuras de RPG e sua área de trabalho.

Vinculação WebAssembly para o llama.cpp - Habilitando inferência de LLM diretamente no navegador

Um serviço FastAPI para busca semântica de texto usando embeddings pré-computados e medidas de similaridade avançadas, com suporte integrado a vários tipos de arquivos via textract.

Execute qualquer SLM/LLM em formato GGUF localmente, diretamente no dispositivo Android