crawler

Casos de ingeniería inversa de web scraping, incluyendo: huella digital TLS |瑞数 (Realsun) | Zhenkunhang | NetEase Yidun | descompilación de mini programas de WeChat (Baidaxingxi) | Tonghuashun | descifrado RPC | Jiasule | CAPTCHA deslizante Geetest | Ocean Engine | Boss Zhipin | Qichacha | China Minmetals | QQ Music | Plataforma de Big Data de Políticas Industriales | Qizhidao | Xueqiu (acw_sc__v2) | 1688 | Qimai Data | whggzy | Qiming Technology | mohurd | EntGroup | OKLink.

SiteOne Crawler es un rastreador y analizador de sitios web multiplataforma para SEO, seguridad, accesibilidad y optimización de rendimiento; ideal para desarrolladores, DevOps, ingenieros de QA y consultores. Compatible con Windows, macOS y Linux (x64 y arm64).

API HTTP para spiders de Scrapy

API de alto rendimiento para Douyin, TikTok, Xiaohongshu, Kuaishou, Weibo, Instagram, YouTube, Twitter (X), resolución de captchas y correos temporales.

Una biblioteca basada en Kotlin para pruebas, scraping y análisis, que permite extraer datos de HTML (renderizado en servidor y cliente). Pone especial énfasis en la facilidad de uso y alta legibilidad mediante un DSL intuitivo. Aunque está diseñada como biblioteca de pruebas, también puede usarse para hacer scraping de sitios web de forma conveniente.

ArrowDL (Arrow Downloader) es un gestor de descargas para Windows, MacOS y Linux.

Una versátil librería de web spidering para Ruby capaz de rastrear un sitio, múltiples dominios, enlaces específicos o de forma infinita. Spidr está diseñado para ser rápido y fácil de usar.

Ingeniería inversa asistida por IA.

Código de tutorial de web scraping en Python, sencillo pero útil.

API de Java para Chrome y Firefox

Descargador de doujinshi

Herramienta de ingeniería inversa para js-cookie: visualización de cambios y puntos de interrupción condicionales mediante hooks

Herramienta de auditoría SEO de código abierto.

Scraper de perfiles de LinkedIn que devuelve datos estructurados en formato JSON.

Repositorio de código del libro "Práctica avanzada de ingeniería inversa de web scraping"

Un framework ligero de rastreo web (web crawler).

The Big Brother V6.0 es una plataforma OSINT armada que incluye enumeración de nombres de usuario (más de 473 plataformas), inteligencia visual de vector cuádruple, seguimiento de Sky Radar, análisis de billeteras de criptomonedas, inteligencia SSL, reconstrucción de huellas digitales, extracción de EXIF, dorking avanzado y reconocimiento de red.

:newspaper: Deja que ChatGPT resuma Hacker News por ti.

Una aplicación de respaldo para blogs de Tumblr y Twitter

La mejor biblioteca para PTT

Wscan es un escáner de seguridad web enfocado en la seguridad web, dedicado a hacer que la seguridad web sea accesible para todos.

Busca en Google, Bing, Yahoo y otros motores de búsqueda con Python

Repositorio oficial para "Craw4LLM: Efficient Web Crawling for LLM Pretraining"

NetDiscovery es un framework/middleware de rastreo web universal implementado con Vert.x, RxJava 2 y otros marcos de trabajo.

Krawl es un servidor de engaño web nativo de la nube, ligero y personalizable, y un anti-crawler que crea aplicaciones web falsas con vulnerabilidades evidentes utilizando datos señuelo generados aleatoriamente y plantillas HTML creadas por IA.

Guarda páginas web localmente en tu disco duro, incluyendo imágenes, CSS, JS y enlaces tal cual.

Moodle-DL descarga rápidamente el contenido de los cursos desde Moodle (por ejemplo, archivos PDF de clases).

Jie es una herramienta integral de evaluación y explotación de seguridad diseñada meticulosamente para aplicaciones web. Su robusto conjunto de funciones incluye escaneo de vulnerabilidades, recopilación de información y explotación, lo que la convierte en un kit de herramientas indispensable para profesionales de seguridad y pentesters.

Un framework de web crawling y scraping de alto nivel y fiable para Node.js

Infraestructura web de código abierto para IA. Extrae, rastrea y automatiza la web, limpia Markdown, gestiona sesiones de navegador y prepara datos para tus agentes.