scrapy

Plataforma de administración de rastreadores web distribuidos para la gestión de spiders independientemente del lenguaje y framework. 分布式爬虫管理平台，支持任何语言和框架

Interfaz de rastreo de cuentas oficiales de WeChat basada en la búsqueda de WeChat de Sogou

Colección de scrapers de datos para diversos sitios web, incluyendo comercio electrónico, redes sociales, portales de empleo, noticias, finanzas y bases de datos académicas, diseñados para la extracción de información a gran escala.

Componentes basados en Redis para Scrapy.

Herramienta de recopilación de Sina Weibo mantenida continuamente 🚀🚀🚀

🚀🚀🚀 feapder es un framework de rastreo web potente y fácil de usar. Incluye cuatro tipos de arañas (AirSpider, Spider, TaskSpider, BatchSpider) para resolver necesidades en diferentes escenarios. Es compatible con reanudación de puntos de interrupción, monitoreo y alertas, renderizado de navegador y deduplicación de datos masivos. También cuenta con un potente sistema de gestión de rastreadores, feaplat, para facilitar su despliegue y programación.

Framework de gestión de rastreadores distribuidos basado en Scrapy, Scrapyd, Django y Vue.js

Aplicación web para la gestión de clústeres de Scrapyd, análisis y visualización de registros de Scrapy, empaquetado automático, tareas temporizadas, monitoreo y alertas, y UI móvil. Documentación :point_right:

Scrapy+Splash para la integración con JavaScript

Descarga imágenes de Google, Bing y Baidu.

El repositorio del proyecto abierto de web scraping tiene como objetivo compartir conocimientos y experiencias sobre web scraping con Python.

advertools: herramientas de análisis y productividad para marketing online

🎭 Integración de Playwright para Scrapy.

El conjunto de datos de dominios de Internet más grande del mundo

Rascador web en Python

Peticiones más rápidas en Python 3

Programa para eliminar marcas de agua en videos de Douyin, Kuaishou, Huoshan y Pipixia

Desarrollo de scrapers web en Ruby mediante un DSL limpio asistido por IA. Kimurai utiliza IA para identificar la ubicación de los datos, almacena selectores en caché y realiza el scraping con Ruby puro, obteniendo la inteligencia de un LLM sin la latencia ni los costos por token de cada solicitud.

Middleware de Scrapy para manejar páginas con JavaScript usando Selenium

Un framework de rastreo multihilo con muchos rastreadores de imágenes integrados.

API HTTP para spiders de Scrapy

API de alto rendimiento para Douyin, TikTok, Xiaohongshu, Kuaishou, Weibo, Instagram, YouTube, Twitter (X), resolución de captchas y correos temporales.

Web scraper para Xianyu, desarrollado sobre la versión web, construido con FastAPI para la búsqueda de productos, con soporte para solicitudes asíncronas concurrentes y almacenamiento con deduplicación automática. Ahora incluye soporte para inicio de sesión.

Un conjunto de spiders y scrapers para extraer información de ubicación de sitios que publican su ubicación en internet.

Código de tutorial de web scraping en Python, sencillo pero útil.

Uso de múltiples proxies con Scrapy

Proyecto de rastreador de noticias de opinión pública de nivel empresarial: admite la ejecución con un solo clic de cualquier número de rastreadores, tareas programadas, eliminación por lotes, despliegue con un clic y visualización de monitoreo; incluye configuración de estrategias de asignación para clústeres de rastreadores.

spider-admin-pro, una herramienta de gestión visual para Scrapy y Scrapyd que permite ver proyectos y programar tareas de rastreo; es la versión mejorada de SpiderAdmin.

Una utilidad web universal para PHP.

Un framework para crear extractores de contenido web semiautomáticos.