spider

Un rastreador/scraper web de alto rendimiento en Elixir

Un framework de rastreo multihilo con muchos rastreadores de imágenes integrados.

Casos de ingeniería inversa de web scraping, incluyendo: huella digital TLS |瑞数 (Realsun) | Zhenkunhang | NetEase Yidun | descompilación de mini programas de WeChat (Baidaxingxi) | Tonghuashun | descifrado RPC | Jiasule | CAPTCHA deslizante Geetest | Ocean Engine | Boss Zhipin | Qichacha | China Minmetals | QQ Music | Plataforma de Big Data de Políticas Industriales | Qizhidao | Xueqiu (acw_sc__v2) | 1688 | Qimai Data | whggzy | Qiming Technology | mohurd | EntGroup | OKLink.

Un rastreador de acciones de Java basado en Spring Boot (solo para acciones A). La versión V2 está en desarrollo.

Una versátil librería de web spidering para Ruby capaz de rastrear un sitio, múltiples dominios, enlaces específicos o de forma infinita. Spidr está diseñado para ser rápido y fácil de usar.

Un conjunto de spiders y scrapers para extraer información de ubicación de sitios que publican su ubicación en internet.

Plugin de origen/metadatos para calibre basado en la búsqueda de ISBN de la Biblioteca Nacional de China. https://doiiars.com/article/NLCISBNPlugin

Un framework de pruebas de penetración, herramienta de recopilación de información y escáner de vulnerabilidades web.

Scraper de perfiles de LinkedIn que devuelve datos estructurados en formato JSON.

Un framework ligero de rastreo web (web crawler).

:newspaper: Deja que ChatGPT resuma Hacker News por ti.

Signal 18 repman: gestor de replicación para MySQL / MariaDB / Percona Server.

Empaquetador de novelas ligeras que recopila contenido de sitios web (bilinovel.com, linovelib.com) y lo empaqueta en formato EPUB, con soporte para portadas, ilustraciones, tablas de contenido y fusión de volúmenes.

Crawler de Python para eliminar marcas de agua en videos cortos: Douyin, Pipixia, Huoshan, Weishi, Zuiyou, Kuaishou, Quanmin, Pipigaoxiao, Xigua, Huya, Pear Video, AcFun, Haokan, etc.

Proyecto de rastreador de noticias de opinión pública de nivel empresarial: admite la ejecución con un solo clic de cualquier número de rastreadores, tareas programadas, eliminación por lotes, despliegue con un clic y visualización de monitoreo; incluye configuración de estrategias de asignación para clústeres de rastreadores.

Repositorio de scrapers para aplicaciones de cine y televisión

Ideas y experiencias sobre la ingeniería inversa de parámetros de aplicaciones, ingeniería inversa en Android.

NetDiscovery es un framework/middleware de rastreo web universal implementado con Vert.x, RxJava 2 y otros marcos de trabajo.

Krawl es un servidor de engaño web nativo de la nube, ligero y personalizable, y un anti-crawler que crea aplicaciones web falsas con vulnerabilidades evidentes utilizando datos señuelo generados aleatoriamente y plantillas HTML creadas por IA.

Proyecto de encuestas, recomendaciones de servidores en la nube, proyectos de ejecución en segundo plano, proxies gratuitos y colección de diversos scripts.

spider-admin-pro, una herramienta de gestión visual para Scrapy y Scrapyd que permite ver proyectos y programar tareas de rastreo; es la versión mejorada de SpiderAdmin.

Script de Python 3 para volcar/extraer empleados de empresas desde la API de LinkedIn

Un framework de web crawling y scraping de alto nivel y fiable para Node.js

FreeProxy: recopilación de proxies gratuitos de internet.

Software de visualización y análisis de datos de la sección de comentarios de Bilibili: los creadores pueden usarlo para guiar su selección de temas y definir su audiencia.