scrapy

Plataforma de gerenciamento de web crawlers distribuídos, independente de linguagem ou framework.

Interface de crawler para contas oficiais do WeChat baseada na busca do Sogou WeChat.

Coleção prática de web scrapers para diversos sites e e-commerce, incluindo Taobao, WeChat, Dazhong Dianping, Qichacha, sites de emprego, Xianyu, Alibaba, CnBlogs, Weibo, Baidu Tieba, Douban, Baotu, Panorama, música do Douban, órgãos reguladores de medicamentos, Sohu News, coleta de texto para machine learning, ativos fofa, Autohome, NBS, contagem de palavras-chave do Baidu, diretórios de busca, Toutiao, críticas de filmes do Douban, Trip.com, Xiaomi App Store, Anjuke e Tujia.

Componentes baseados em Redis para Scrapy.

Ferramenta de coleta de dados do Sina Weibo com manutenção contínua

feapder é um framework de crawler em Python fácil de usar e poderoso. Inclui quatro tipos de crawlers (AirSpider, Spider, TaskSpider, BatchSpider) para diferentes cenários, suportando retomada de pontos de interrupção, monitoramento, renderização de navegador e desduplicação de dados em massa, além do sistema de gerenciamento feaplat.

Framework de gerenciamento de crawler distribuído baseado em Scrapy, Scrapyd, Django e Vue.js.

Aplicação web para gerenciamento de cluster Scrapyd, análise e visualização de logs do Scrapy, empacotamento automático, tarefas agendadas, monitoramento e alerta, e interface móvel.

Scrapy+Splash para integração com JavaScript

Baixe imagens do Google, Bing e Baidu.

O repositório do projeto aberto de web scraping visa compartilhar conhecimento e experiências sobre web scraping com Python

advertools - ferramentas de produtividade e análise para marketing online.

🎭 Integração do Playwright para Scrapy.

O maior conjunto de dados de domínios da Internet do mundo.

Web crawler em Python.

Requisições mais rápidas no Python 3

Programa para remover marcas d'água de vídeos do Douyin, Kuaishou, Huoshan e Pipixia.

Escreva web scrapers em Ruby usando um DSL limpo e assistido por IA. O Kimurai usa IA para identificar onde os dados estão, faz cache dos seletores e faz o scraping com Ruby puro. Tenha a inteligência de um LLM sem a latência por requisição ou custos de tokens.

Middleware do Scrapy para lidar com páginas JavaScript usando Selenium

Um framework de crawler multi-thread com vários crawlers de imagem integrados.

API HTTP para spiders do Scrapy

API de alto desempenho assíncrona para Douyin, TikTok, Xiaohongshu, Kuaishou, Weibo, Instagram, YouTube, Twitter (X), resolvedor de CAPTCHA e e-mail temporário.

Crawler para o Xianyu, desenvolvido com base na versão web, utilizando FastAPI para criar uma interface de busca de produtos, com suporte a solicitações assíncronas e desduplicação automática de dados. Agora com suporte a login.

Um conjunto de spiders e scrapers para extrair informações de localização de estabelecimentos que publicam sua localização na internet.

Código de tutorial de web scraping em Python simples, porém útil.

Use múltiplos proxies com o Scrapy.

Projeto de crawler de notícias de opinião pública de nível empresarial: suporta execução com um clique de qualquer número de crawlers, tarefas agendadas, exclusão em lote, implantação com um clique, monitoramento visualizado e configuração de estratégias de alocação de cluster

spider-admin-pro é uma ferramenta de gerenciamento visual para projetos de web scraping com Scrapy e Scrapyd, além de agendamento de tarefas, sendo uma versão atualizada do SpiderAdmin.

Um utilitário web universal para PHP.

Um framework para criar extratores de conteúdo web semiautomáticos