multimodal

Deja de alquilar tu inteligencia. Adóptala con AnythingLLM. Todo lo que necesitas para una potente experiencia de agente de primer orden local.

Repositorio principal de código abierto de "Understanding AI Agents: Design Principles and Engineering Practices" (por Bojie Li): texto completo, PDF compilado y código por capítulos

La pila de agentes de IA multimodales de código abierto: conectando modelos de IA de vanguardia e infraestructura de agentes

[NeurIPS'23 Oral] Ajuste de instrucciones visuales (LLaVA) diseñado para alcanzar capacidades del nivel de GPT-4V y superiores.

Preentrenamiento autosupervisado a gran escala en múltiples tareas, idiomas y modalidades

☁️ Construye aplicaciones de IA multimodales con una pila nativa de la nube

YC (S26) | Open Computer History | Graba tu pantalla continuamente de forma local y proporciona contexto a tus agentes (Claude, Codex, Openclaw, Hermes, Runner...)

Serie Janus: Modelos unificados de comprensión y generación multimodal

Usa PEFT o parámetros completos para CPT/SFT/DPO/GRPO en más de 600 LLMs (Qwen3.6, DeepSeek-V4, GLM-5.1, InternLM3, Llama4, ...) y más de 300 MLLMs (Qwen3-VL, Qwen3-Omni, InternVL3.5, Ovis2.5, GLM4.5v, Gemma4, Llava, Phi4, ...) (AAAI 2025).

Visualiza, consulta y transmite para entrenar con datos de robótica multimodal.

🔍 Práctica de desarrollo de aplicaciones con modelos grandes 1: Guía completa de la tecnología RAG, dirección de lectura en línea: https://datawhalechina.github.io/all-in-rag/

Herramientas listas para producción para ejecutar IA de forma local.

Una biblioteca de Python para la detección de anomalías en datos tabulares, de series temporales, de grafos, de texto, de imágenes y de audio. Más de 60 detectores, orquestación ADEngine respaldada por benchmarks y un flujo de trabajo agéntico para agentes de IA.

El fin del análisis web. El comienzo de la búsqueda nativa de píxeles escalable. Enlace: https://pixelrag.ai/

SeaTunnel es una herramienta de integración de datos masivos multimodal, de alto rendimiento y distribuida.

Deeplake es un entorno de ejecución de datos de IA para agentes. Proporciona Postgres sin servidor con un datalake multimodal, lo que permite la recuperación y el entrenamiento escalables.

Mobile-Agent: La potente familia de agentes GUI

La forma más sencilla de servir aplicaciones y modelos de IA: ¡crea APIs de inferencia de modelos, colas de trabajos, aplicaciones LLM, pipelines de múltiples modelos y más!

Una biblioteca de texto a voz (TTS), voz a texto (STT) y voz a voz (STS) construida sobre el framework MLX de Apple, que proporciona un análisis de voz eficiente en Apple Silicon.

Un framework para la inferencia eficiente de modelos omnimodales.

Este repositorio es una colección seleccionada de enlaces a varios cursos y recursos sobre Inteligencia Artificial (IA).

Framework de código abierto para crear aplicaciones de agentes en JavaScript, Go, Dart y Python, creado y utilizado en producción por Google

Notas para ingenieros de software que se ponen al día con los nuevos desarrollos de IA. Sirve como almacén de datos para los escritos de https://latent.space y lluvia de ideas de productos, pero contiene referencias canónicas depuradas bajo la carpeta /Resources.

Resuelve la comprensión visual con VLMs reforzados

Un entorno visual para flujos de trabajo de agentes: itera sobre tus agentes 10 veces más rápido

Motor de datos de alto rendimiento para IA y cargas de trabajo multimodales. Procesa imágenes, audio, video y datos estructurados a cualquier escala

Un framework MCP de código bajo para construir pipelines RAG complejos e innovadores

Un framework modular para la investigación multimodal de visión y lenguaje de Facebook AI Research (FAIR)

Un motor de entrenamiento de próxima generación diseñado para modelos MoE ultra grandes

Align Anything: Entrenamiento de modelos de todas las modalidades con retroalimentación