spider

Un rastreador/araña web visual sin código. YiCaiJi: un software de prueba de automatización de navegador visual, recopilación de datos y rastreador web que permite diseñar y ejecutar tareas de rastreo con gráficos sin código. Alias: ServiceWrapper, un sistema inteligente de encapsulación de servicios orientado a aplicaciones web.

Framework elegante de scraping y crawling para Golang

Grupo de proxies en Python para rastreadores web

🚀 「Douyin_TikTok_Download_API」 es una herramienta de extracción de datos asíncrona de alto rendimiento y lista para usar para Douyin, Kuaishou, TikTok y Bilibili, que admite llamadas a API, análisis por lotes en línea y descargas.

Algunos ejemplos muy interesantes de rastreadores web en Python, amigables para principiantes, que extraen datos principalmente de sitios como Taobao, Tmall, WeChat, WeChat Read, Douban, QQ, etc.

Un rastreador web increíblemente rápido diseñado para OSINT.

Plataforma de administración de rastreadores web distribuidos para la gestión de spiders independientemente del lenguaje y framework. 分布式爬虫管理平台，支持任何语言和框架

Software de grabación de transmisiones en vivo con vigilancia continua y soporte multiusuario, compatible con más de 40 plataformas como Douyin, TikTok, YouTube, Kuaishou, Huya, Douyu, Bilibili, Xiaohongshu, pandatv, sooplive, flextv, popkontv, twitcasting, winktv, Baidu, Weibo, Kugou, 17Live, Twitch, Acfun, CHZZK y shopee.

Sistema de gestión de películas para adultos, rastreadores para avmoo, javbus y javlibrary, biblioteca de videos online, base de datos de enlaces magnéticos.

INFO-SPIDER es una caja de herramientas de scraping que integra múltiples fuentes de datos, diseñada para ayudar a los usuarios a recuperar su información de forma segura y rápida. El código es de código abierto y el proceso es transparente. Admite fuentes como GitHub, correos electrónicos (QQ, NetEase, Ali, Sina, Hotmail, Outlook), JD, Taobao, Alipay, China Mobile, China Unicom, China Telecom, Zhihu, Bilibili, NetEase Cloud Music, contactos y grupos de QQ, álbumes de WeChat, historial del navegador, 12306, blogs (cnblogs, CSDN, OSChina) y Jianshu.

Lista de bibliotecas, herramientas y APIs para web scraping y procesamiento de datos.

Pholcus es un software de rastreo web distribuido y de alta concurrencia escrito en Go puro.

Una colección de increíbles rastreadores web y spiders en diferentes lenguajes

Web Crawler/Spider para NodeJS + jQuery en el lado del servidor ;-)

Sincroniza artículos con múltiples plataformas de contenido con un solo clic. Es compatible con Toutiao, WordPress, Zhihu, Jianshu, Juejin, CSDN y Typecho. Publica una vez y sincroniza en múltiples plataformas. Libera la productividad personal

Herramienta OSINT para la Dark Web

novel-plus es un sistema CMS de novelas multiplataforma (PC, WAP) con todas las funciones. Incluye recomendación de novelas, búsqueda, clasificación, lectura, estantería, comentarios, rastreador web, centro de miembros, zona de escritores, recarga y suscripción, publicación de noticias y otras funciones.

🚀🚀🚀 feapder es un framework de rastreo web potente y fácil de usar. Incluye cuatro tipos de arañas (AirSpider, Spider, TaskSpider, BatchSpider) para resolver necesidades en diferentes escenarios. Es compatible con reanudación de puntos de interrupción, monitoreo y alertas, renderizado de navegador y deduplicación de datos masivos. También cuenta con un potente sistema de gestión de rastreadores, feaplat, para facilitar su despliegue y programación.

Cada sitio web proporciona APIs.

Framework de gestión de rastreadores distribuidos basado en Scrapy, Scrapyd, Django y Vue.js

Un rastreador web para artículos de cuentas oficiales de WeChat

Aplicación web para la gestión de clústeres de Scrapyd, análisis y visualización de registros de Scrapy, empaquetado automático, tareas temporizadas, monitoreo y alertas, y UI móvil. Documentación :point_right:

Gospider: araña web rápida escrita en Go

Eliminación de marcas de agua en videos cortos: Douyin, Pipixia, Huoshan, Weishi, Weibo, Oasis, Zuiyou, Qingshipin, Kuaishou, Quanmin Xiaoshipin, Basai Dianying, Momo, Before Bifeng, Eyepetizer, Vue Vlog, Xiaokaxiu, Pipixiaoxia, Quanmin Kge, Xigua Shipin, Doupai, Huya, 6rooms, Pear Video, Xinpianchang, acfun, Meipai...

Buscador de novelas owllook

DecryptLogin: APIs para iniciar sesión en algunos sitios web utilizando requests.

Geziyor, un framework de rastreo y extracción web extremadamente rápido para Go. Compatible con renderizado JS.

Tutorial práctico del lenguaje Go desde nivel principiante hasta avanzado, incluyendo uso de bibliotecas básicas, patrones de diseño, puntos propensos a errores en entrevistas, herramientas, integración con terceros, etc.

:spider: ¡El framework de rastreo progresivo para PHP!

Obtén datos web para agentes de IA y LLMs