spider

Framework de Web Scraping

🕷 CrawlerDetect es una clase PHP para detectar bots/crawlers/spiders a través del user agent

Descarga imágenes de Google, Bing y Baidu.

Framework de rastreo web en C# multiplataforma diseñado para ofrecer velocidad y flexibilidad. ¡Por favor, dale una estrella a este proyecto! +1.

SkyBlue (BlueSky Collector) es un sistema de rastreo web de código abierto y gratuito. Solo requiere hacer clic y editar reglas para recopilar datos. Puede ejecutarse de forma local, en hosting virtual o en servidores en la nube, es capaz de rastrear casi todo tipo de páginas web, se integra sin problemas con varios programas CMS para la creación de sitios web, publica datos en tiempo real sin necesidad de iniciar sesión y funciona de forma totalmente automática sin intervención humana. Es un software de rastreo web en la nube totalmente multiplataforma para macrodatos.

Framework de rastreo web basado en asyncio.

Introducción al sitio web de enlaces magnet U3C3 y actualización de dominio

Biblioteca de rastreo web flexible asistida por IA para Node.js

Escáner de aplicaciones web basado en Python para recopilar OSINT y realizar pruebas de vulnerabilidades OWASP en un sitio web objetivo.

QQ空间导出助手，用于备份QQ空间的说说、日志、私密日记、相册、视频、留言板、QQ好友、收藏夹、分享、最近访客为文件，便于迁移与保存

Web scrapers en Python: incluye extracción de música de NetEase Cloud, videos de Bilibili, preguntas de Zhihu, fondos de pantalla, videos de xvideos, audiolibros, Weibo, datos de Anjuke con visualización, extractor de portadas de Bilibili, pool de proxies IP, análisis de datos de usuarios de Zhihu y scrapers de usuarios de GitHub

Rastreador web para archivistas: salida WARC, panel de control para todos los rastreos y patrones de ignorar dinámicos.

Rastreador de Douyin: recopila datos públicos de perfiles, me gusta, favoritos, audio original, temas, búsquedas, colecciones, publicaciones, seguidores y seguidos.

Recopilación de artículos destacados sobre ingeniería inversa, vale la pena leerlos

Compartición de código de scraping del hermano K, ingeniería inversa de JS, scraping avanzado. Sigue la cuenta oficial: K哥爬虫

📰 Diarios oficiales brasileños accesibles para todos

El kit de herramientas principal para la auditoría y explotación de falsificación de peticiones en sitios cruzados (CSRF).

Una herramienta de descarga para extraer libros electrónicos de Internet.

Herramienta de scraping para ofertas de empleo en BOSS Zhipin, basada en el protocolo Chrome CDP para reutilizar estados de inicio de sesión, eludir protecciones de fuentes y exportar datos en JSON/CSV con análisis de habilidades salariales.

Beanbun es un framework de web scraping multiproceso escrito en PHP, altamente abierto y escalable, basado en Workerman.

50 notas sobre modelos grandes de lenguaje (LLM). Este repositorio contiene proyectos prácticos en los campos de aprendizaje automático, aprendizaje profundo, visión por computadora, procesamiento de lenguaje natural, LLM y web scraping.

Crawly, un framework de alto nivel para web crawling y scraping en Elixir.

:alien: OneBlog, un blog en Java sencillo, estético, potente y adaptable.

Extraer artículos de cuentas oficiales de WeChat

Scripts de web scraping en Python escalables para más de 40 dominios populares.

Ingeniería inversa y descifrado de JS, descifrado de parámetros de cifrado anti-scraping de JS, incluyendo Geetest, QQ Music, Pinduoduo, Boss Zhipin, Zhihu, Kugou, Vipshop, China Judgements Online, Taobao, Tianan Insurance, Bilibili, Fang.com, WPS, Weibo, Youdao, NetEase, WeChat, Kongzhong, Jintong, sistemas de gestión escolar, etc.

Eliminación de marcas de agua de videos cortos en Golang: Douyin, Pipixia, Huoshan, Weishi, Zuiyou, Kuaishou, Quanmin, Pipigaoxiao, Xigua, Huya, Pear Video, AcFun, Haokan, etc.

Descarga y extracción de novelas, soporte para Qidian y Biquge, exportación a Markdown y txt, conversión a epub, filtrado de anuncios y corrección automática

Un rastreador web configurable con una consola web fácil de usar

Lanzamientos, wiki y hoja de ruta de SpiderSuite (rastreador de seguridad web)