crawler

Prompts filtrados de GPTs para omitir el límite de 25 mensajes o probar GPTs sin una suscripción Plus.

Framework de Web Scraping

🕷 CrawlerDetect es una clase PHP para detectar bots/crawlers/spiders a través del user agent

Framework de rastreo web en C# multiplataforma diseñado para ofrecer velocidad y flexibilidad. ¡Por favor, dale una estrella a este proyecto! +1.

Clonador de sitios web: utiliza potentes rutinas de Go para clonar sitios web en tu computadora en segundos.

🏳️‍🌈 Descargador de medios de cualquier sitio, incluyendo Twitter, Reddit, Instagram, BlueSky, TikTok, Threads, Facebook, OnlyFans, YouTube, Pinterest, PornHub, XHamster, XVIDEOS, ThisVid, etc.

Transforma contenido web en datos listos para LLM.

SkyBlue (BlueSky Collector) es un sistema de rastreo web de código abierto y gratuito. Solo requiere hacer clic y editar reglas para recopilar datos. Puede ejecutarse de forma local, en hosting virtual o en servidores en la nube, es capaz de rastrear casi todo tipo de páginas web, se integra sin problemas con varios programas CMS para la creación de sitios web, publica datos en tiempo real sin necesidad de iniciar sesión y funciona de forma totalmente automática sin intervención humana. Es un software de rastreo web en la nube totalmente multiplataforma para macrodatos.

Framework de rastreo web basado en asyncio.

Colección de casos de web crawlers. Incluye, entre otros: Taobao, JD, Tmall, Douban, Douyin, Kuaishou, Weibo, WeChat, Ali, Toutiao, PDD, Youku, iQiyi, Ctrip, 12306, 58, Sohu, varios índices, VIP/Wanfang, Z-Library, Oalib, novelas, sitios de licitaciones, sitios de compras, Xiaohongshu, Dianping, Twitter, Maimai, Zhihu.

Navegador antidetect sigiloso gratuito para Playwright: huella digital de Firefox sin cabeza indetectable. Scraping con Python, bypass de recaptcha y detección de bots. Código abierto.

Biblioteca central de NewPipe para extraer datos de sitios de streaming.

Solución de exploración de memoria del navegador (en exploración...)

Introducción al sitio web de enlaces magnet U3C3 y actualización de dominio

Biblioteca de rastreo web flexible asistida por IA para Node.js

Monitorización, recopilación y transferencia de contenido multiplataforma. Un panel web para gestionar Douyin, Xiaohongshu y Kuaishou.

Diskover Community Edition: indexador de archivos, motor de búsqueda y herramienta de gestión y análisis de datos de código abierto basado en Elasticsearch

Rastreador web de imágenes multiproceso para Google y Naver (Selenium)

Enlace de Python para los motores Modest y Lexbor. Un analizador HTML5 rápido con selectores CSS para Python.

Web scrapers en Python: incluye extracción de música de NetEase Cloud, videos de Bilibili, preguntas de Zhihu, fondos de pantalla, videos de xvideos, audiolibros, Weibo, datos de Anjuke con visualización, extractor de portadas de Bilibili, pool de proxies IP, análisis de datos de usuarios de Zhihu y scrapers de usuarios de GitHub

Rastreador web para archivistas: salida WARC, panel de control para todos los rastreos y patrones de ignorar dinámicos.

Rastreador de Douyin: recopila datos públicos de perfiles, me gusta, favoritos, audio original, temas, búsquedas, colecciones, publicaciones, seguidores y seguidos.

ScopeSentry: mapeo del ciberespacio, enumeración de subdominios, escaneo de puertos, descubrimiento de información sensible, escaneo de vulnerabilidades y nodos distribuidos.

Herramienta CLI para guardar una copia fiel de una página web completa en un solo archivo HTML (basado en SingleFile).

❤️ Fredy - [F]ind [R]eal [E]state [D]amn Eas[y] - Fredy busca continuamente nuevos apartamentos y casas en Alemania en plataformas como ImmoScout24, Immowelt, eBay Kleinanzeigen y te entrega los resultados al instante a través de Slack, Telegram, correo electrónico, Discord o ntfy, para que puedas concentrarte en las cosas más importantes de la vida ;)

Rastreador de sistemas de archivos para Elasticsearch (FS Crawler)

Un cliente HTTP de Python ergonómico y respetuoso con la privacidad

Herramienta de recopilación de datos de Xiaohongshu y descarga masiva de imágenes y videos de sitios web, con una interfaz atractiva (descarga masiva, extracción de video, imágenes). Telegram: https://t.me/+ZtLSwuIKTo44MDY1

Colección de parches para puppeteer y playwright para evitar la detección de automatización y fugas. Ayuda a evitar las páginas CAPTCHA de Cloudflare y DataDome. Fácil de aplicar o quitar, y se puede habilitar o deshabilitar bajo demanda.

Un marco de medición de privacidad web