data-collection

Un rastreador/araña web visual sin código. YiCaiJi: un software de prueba de automatización de navegador visual, recopilación de datos y rastreador web que permite diseñar y ejecutar tareas de rastreo con gráficos sin código. Alias: ServiceWrapper, un sistema inteligente de encapsulación de servicios orientado a aplicaciones web.

Movimiento de datos de código abierto para pipelines ELT y agentes de IA — desde APIs, bases de datos y archivos hasta almacenes, lagos y aplicaciones de IA. Tanto autohospedado como en la nube.

Este repositorio de GitHub es una potente colección de APIs que puedes empezar a usar de inmediato para crear desde automatizaciones simples hasta aplicaciones a gran escala. Una de las listas de APIs más valiosas de GitHub, sin duda. 💪

🔥 Servidor oficial Firecrawl MCP - Añade potentes funciones de extracción y búsqueda web a Cursor, Claude y cualquier otro cliente LLM.

El líder en infraestructura de datos de clientes

Pipelines de datos para configuración en la nube y datos de seguridad. Crea soluciones de inventario de activos en la nube, CSPM, FinOps y gestión de vulnerabilidades. Extrae datos de AWS, Azure, GCP y más de 70 fuentes de la nube y SaaS.

Jitsu es una alternativa de código abierto a Segment. Motor de ingesta de datos totalmente programable para equipos de datos modernos. Configura una canalización de datos en tiempo real en minutos, no en días

Biblioteca de Python y CLI para scraping de X/Twitter con rotación de múltiples cuentas y manejo integrado de límites de velocidad.

Un potente servidor Model Context Protocol (MCP) que ofrece una solución integral para el acceso web público.

Extrae tweets, perfiles, seguidores y seguidos de Twitter/X, no se necesita clave API. Biblioteca de Python con agrupación inteligente de múltiples cuentas, soporte de proxy y asíncrono.

Python concurrente simplificado

Proxies residenciales rotativos HTTP(S)/SOCKS5: ejemplos de código e información general.

IoT DC3 es una plataforma industrial de IoT de código abierto, multiprotocolo, nativa de la nube y potenciada por IA, que evoluciona hacia agentes de IA. Una solución completa de sistema IoT: conectividad de dispositivos, adquisición de datos, entrega de borde a nube y operaciones inteligentes.

Plugin de análisis de jugadores para plataformas de servidores de Minecraft: visualiza la actividad de los jugadores en tu servidor con facilidad.

🌊 Sincroniza continuamente los sistemas donde residen tus datos con los sistemas donde _quieres_ que residan, gestionando tus flujos de datos con Estuary. 🌊

ODK Collect es una aplicación de Android para completar formularios. Se ha utilizado para recopilar miles de millones de puntos de datos en entornos desafiantes en todo el mundo.

Tras los límites de Augur creamos Aveloxis: recopilación fiable de datos de métricas de OSS. Recopilar 40,000 repositorios en 3 días es un buen resultado, ¿verdad?

Plataforma de recolección y extracción de Big Data; zdh_web es la plataforma de gestión visual para los servicios de la serie zdh, que incluye módulos de recolección de datos, programación, permisos, flujos de aprobación y marketing privado.