llama

Este repositorio proporciona programas para crear código de Generación Aumentada por Recuperación (RAG) para IA generativa con LlamaIndex, Deep Lake y Pinecone, aprovechando el poder de los modelos de OpenAI y Hugging Face para la generación y evaluación.

Ajuste fino (finetuning) fácil y eficiente para LLMs. (Compatible con LLama, LLama2, LLama3, Qwen, Baichuan, GLM, Falcon). Entrenamiento y despliegue eficiente de cuantización para grandes modelos.

kani (カニ) es un microframework altamente personalizable para modelos de lenguaje con llamadas a herramientas. (NLP-OSS @ EMNLP 2023)

¿Son locales los Copilots ya? La frontera de los Copilots LLM locales para autocompletado de código, generación de proyectos, asistencia en shell y más. ¡Encuentra hoy las herramientas que darán forma a la experiencia del desarrollador del mañana!

Yet Another Language Model: inferencia de LLM en C++/CUDA, sin bibliotecas excepto para E/S

Asistente de voz rápido impulsado por Groq, Cartesia y Vercel.

SDK de IA local de código abierto: ejecute IA en el dispositivo sin nube ni claves API. Soporta GGUF, RAG, generación de imágenes, música y video, voz a texto, inferencia P2P y más. Multiplataforma: Linux, macOS, Windows, Android, iOS.

Go con inteligencia propia: aplicaciones en Go que integran directamente llama.cpp para inferencia local mediante aceleración por hardware.

[ECCV2024] Modelo de lenguaje multimodal fundamentado con tokenización visual localizada

Repositorio de Deep Learning NLP que utiliza TensorFlow para cubrir desde el preprocesamiento de texto hasta tareas posteriores con modelos modernos como Topic Models, BERT, GPT y LLM.

LLaVA-Mini es un modelo multimodal grande (LMM) unificado que admite la comprensión de imágenes, imágenes de alta resolución y videos de manera eficiente.

Asistente de IA local

Entrena e infiere potentes incrustaciones de oraciones con AnglE | 🔥 SOTA en STS y en la tabla de clasificación MTEB

Utiliza Code Llama con Visual Studio Code y la extensión Continue. Una alternativa local de LLM a GitHub Copilot.

Un framework para entrenamiento e inferencia multi-agente reforzado basado en LLM

Chat snowflake - Texto a SQL.

🏗️ ¡Ajusta, construye y despliega LLMs de código abierto fácilmente!

[ICML 2024] LESS: Selección de datos influyentes para el ajuste de instrucciones dirigido.

Asistente impulsado por IA para ayudar con las tareas diarias, basado en Llama 3, DeepSeek R1 y muchos otros modelos de HuggingFace.

Una CLI reactiva que genera mensajes de commit para Git y Jujutsu utilizando Ollama, ChatGPT, Gemini, Claude, Mistral y otras IA

Tu memoria artificial local en tu dispositivo.

Un motor de servicio de baja latencia y alto rendimiento para LLMs.

[ACL 2024] LLaMA progresivo con expansión de bloques.

RESTai es una plataforma de código abierto de AIaaS (IA como servicio). Soporta múltiples LLM públicos y locales mediante Ollama/vLLM, entre otros. Incluye uso preciso de embeddings, ajuste, analítica, generación integrada de imagen/audio con cargadores dinámicos, despliegue de chat en vivo, lenguaje gráfico basado en bloques y control de versiones de prompts.

Servidor de inferencia de lenguaje altamente optimizado, de código abierto, local y autohospedado, que admite ASR/STT, TTS y LLM a través de WebRTC, REST y WS.

Este repositorio enumera proyectos destacados de código abierto sobre CUDA, cuda-python, cuBLAS, cuDNN, CUTLASS, TensorRT, TensorRT-LLM, Triton, TVM, MLIR, PTX y computación de alto rendimiento (HPC).

Open Model Engine (OME) — Kubernetes operator for LLM serving, GPU scheduling, and model lifecycle management. Works with SGLang, vLLM, TensorRT-LLM, and Triton