crawler

Colección de scrapers de datos para diversos sitios web, incluyendo comercio electrónico, redes sociales, portales de empleo, noticias, finanzas y bases de datos académicas, diseñados para la extracción de información a gran escala.

Componentes basados en Redis para Scrapy.

Análisis de sistemas de protección contra bots con contramedidas disponibles 🚿. ¿Cómo derrotar al sistema antibots 👻 y eludir los scripts de huella digital del navegador 🕵️‍♂️ al hacer web scraping?

Herramienta OSINT para la Dark Web

Colección de casos ilegales en China sobre web crawlers. Este proyecto recopila noticias, materiales, leyes y regulaciones sobre litigios e infracciones de desarrolladores de web crawlers en China continental, ayudando a los profesionales del sector a entender las leyes locales y evitar infringir el cumplimiento de datos.

Scraper de Sina Weibo, utiliza Python para recopilar datos de Sina Weibo y descargar imágenes y videos de Weibo

Una forma impulsada por la comunidad para leer y chatear con bots de IA, impulsada por chatGPT.

Herramienta de descarga de cómics y novelas 小说漫画下载工具 小説漫画のダウンローダ 小說漫畫下載: 腾讯漫画 大角虫漫画 有妖气 咪咕 SF漫画 哦漫画 看漫画 漫画柜 汗汗酷漫 動漫伊甸園 快看漫画 微博动漫 733动漫网 大古漫画网 漫画DB 無限動漫 動漫狂 卡推漫画 动漫之家 动漫屋 古风漫画网 36漫画网 亲亲漫画网 乙女漫画 webtoons 咚漫 ニコニコ静画 ComicWalker ヤングエースUP モアイ pixivコミック サイコミ; アルファポリス カクヨム ハーメルン 小説家になろう 起点中文网 八一中文网 顶点小说 落霞小说网 努努书坊 笔趣阁 → epub.

Proxy [Buscador | Verificador | Servidor]. HTTP(S) y SOCKS :performing_arts:

DotnetSpider, una biblioteca de web crawling estándar para .NET. Es un framework de web crawling y scraping de alto nivel, ligero, eficiente y rápido

Pool de proxies inteligente para humanos™ para extraer contenido de Internet y construir tus propios modelos de lenguaje grandes en esta nueva era de la IA

API de .NET para Headless Chrome

Toma una lista de dominios, rastrea URLs y busca endpoints, secretos, claves de API, extensiones de archivos, tokens y más

Herramienta todo en uno para recopilación de información, análisis de vulnerabilidades y rastreo. Una herramienta imprescindible para todos los pentesters

🚀🚀🚀 feapder es un framework de rastreo web potente y fácil de usar. Incluye cuatro tipos de arañas (AirSpider, Spider, TaskSpider, BatchSpider) para resolver necesidades en diferentes escenarios. Es compatible con reanudación de puntos de interrupción, monitoreo y alertas, renderizado de navegador y deduplicación de datos masivos. También cuenta con un potente sistema de gestión de rastreadores, feaplat, para facilitar su despliegue y programación.

Scraper de metadatos de películas

Cada sitio web proporciona APIs.

Un potente rastreador de navegador para escáneres de vulnerabilidades web.

Gospider: araña web rápida escrita en Go

Reconocimiento web todo en uno

Scraper de Node.js para obtener datos de Google Play

Buscador de novelas owllook

DecryptLogin: APIs para iniciar sesión en algunos sitios web utilizando requests.

https://spatie.be/docs/crawler

Geziyor, un framework de rastreo y extracción web extremadamente rápido para Go. Compatible con renderizado JS.

Videodl: Un descargador de video ligero escrito en Python puro compatible con múltiples plataformas de streaming.

:spider: ¡El framework de rastreo progresivo para PHP!

Obtén datos web para agentes de IA y LLMs

Rastreador web ligero y fácil de usar

news-please: un rastreador web y extractor de información integrado para noticias que simplemente funciona