llamacpp

Jan es una alternativa de código abierto a ChatGPT que se ejecuta 100% offline en tu computadora.

Tu segundo cerebro con IA. Autohospedable. Obtén respuestas de la web o de tus documentos. Construye agentes personalizados, programa automatizaciones, realiza investigaciones profundas. Convierte cualquier LLM en línea o local en tu IA personal y autónoma (gpt, claude, gemini, llama, qwen, mistral). Comienza gratis.

Framework unificado para construir pipelines de RAG empresariales con modelos pequeños y especializados

Un chatbot autohospedado, sin conexión, similar a ChatGPT. Impulsado por Llama 2. 100% privado, sin que los datos salgan de tu dispositivo. Nuevo: ¡Compatibilidad con Code Llama!

Herramientas listas para producción para ejecutar IA de forma local.

Intercambia GPT por cualquier LLM cambiando una sola línea de código. Xinference te permite ejecutar modelos de código abierto, de voz y multimodales en la nube, localmente o en tu laptop, todo a través de una API de inferencia unificada y lista para producción.

Cuantización, núcleos, entorno de ejecución y motor de inferencia para dispositivos móviles, wearables, hogares inteligentes y robots.

⚡ Motor de inferencia WebGPU en Rust puro: compatible con la API de OpenAI, nativo de GGUF, se ejecuta en cualquier GPU. Sin Python. Sin llama.cpp. Binario único.

Intercambio de modelos confiable para cualquier servidor local compatible con OpenAI/Anthropic: llama.cpp, vllm, etc.

Tu agente en la terminal, equipado con herramientas locales: escribe código, usa la terminal, navega por la web. ¡Crea tu propio agente autónomo persistente!

Procesamiento de Lenguaje Natural de última generación

Una biblioteca de C#/.NET para ejecutar LLM (🦙LLaMA/LLaVA) en tu dispositivo local de manera eficiente.

The most no-nonsense, locally or API-hosted AI code completion plugin for Visual Studio Code - like GitHub Copilot but 100% free.

AGiXT es una plataforma dinámica de automatización de agentes de IA que orquesta sin problemas la gestión de instrucciones y la ejecución de tareas complejas entre diversos proveedores de IA. Al combinar memoria adaptativa, funciones inteligentes y un sistema de complementos versátil, AGiXT ofrece soluciones de IA eficientes y completas.

LSP-AI es un servidor de lenguaje de código abierto que actúa como backend para funcionalidades impulsadas por IA, diseñado para asistir y potenciar a los ingenieros de software, no para reemplazarlos.

RamaLama es una herramienta de desarrollo de código abierto que simplifica el alojamiento local de modelos de IA desde cualquier fuente y facilita su uso para inferencia en producción, todo mediante el lenguaje familiar de los contenedores.

Demo de Bonsai

Modelos de IA preentrenados locales, instantáneos y controlables en Rust

Text-To-Speech, RAG y LLMs. ¡Todo local!

Panel de control para VLLM, Sglang, llama.cpp y exllamav3.

Balanceador de carga y plataforma de servicio de código abierto para LLM/VLM, diseñado para el autoalojamiento a escala. Alternativa a proyectos como llm-d o Docker Model Runner, con menos componentes y despliegues sencillos basados en el ecosistema ggml. Funciona en CPU y GPU.

Chatea con tus modelos LLaMA favoritos en una aplicación nativa de macOS

Aplicación de IA local y motor de inferencia para agentes. Ejecuta LLMs de pesos abiertos localmente: privado, 100% sin conexión en tu computadora. Únete a nuestro Discord: https://discord.com/invite/8wGSsvmg4V

Construye aplicaciones LLM listas para producción y agentes avanzados usando Python, LangChain y LangGraph. Este es el repositorio de acompañamiento para el libro sobre IA generativa con LangChain.

Calcula tokens/s y los requisitos de memoria GPU para cualquier LLM. Soporta cuantización llama.cpp/ggml/bnb/QLoRA.

La forma más sencilla de usar Ollama en .NET

Dale alma a tus personajes favoritos. Soul of Waifu es una aplicación de escritorio de rol y compañía con IA que incluye avatares Live2D/VRM, chat de voz y LLM local. Evolucionen juntos a través de chats inmersivos, aventuras RPG y su escritorio

Enlace de WebAssembly para llama.cpp: permite la inferencia de LLM en el navegador

Un servicio FastAPI para búsqueda semántica de texto mediante embeddings precalculados y medidas de similitud avanzadas, con soporte integrado para varios tipos de archivos a través de textract.

Ejecución local de cualquier SLM/LLM en formato GGUF directamente en dispositivos Android.