spider

Um web crawler / scraper de alto desempenho em Elixir.

Um framework de crawler multi-thread com vários crawlers de imagem integrados.

Casos de engenharia reversa de web scrapers, incluindo: impressão digital TLS, Rueshu, Zhenkunhang, NetEase Yidun, descompilação de mini-programas WeChat, Tonghuashun, descriptografia RPC, Jiasule, CAPTCHA de deslizamento Geetest, Juliansuan, Boss Zhipin, Qichacha, China Minmetals, QQ Music, plataforma de big data de políticas industriais, Qizhidao, Xueqiu (acw_sc__v2), 1688, Qimai Data, whggzy, Qiming Technology, mohurd, EntGroup, OKLink.

Um crawler de ações em Java baseado em Spring Boot (suporta apenas ações A), se você gosta, por favor, dê uma estrela. A versão V2 está em desenvolvimento!

Uma biblioteca versátil de web spidering em Ruby capaz de rastrear um site, múltiplos domínios, links específicos ou de forma infinita. O Spidr foi projetado para ser rápido e fácil de usar.

Um conjunto de spiders e scrapers para extrair informações de localização de estabelecimentos que publicam sua localização na internet.

Plugin de origem/metadados para o calibre baseado na busca de ISBN da Biblioteca Nacional da China.

Um framework de Teste de Intrusão (Penetration Testing), ferramenta de coleta de informações e Scanner de Vulnerabilidades de Sites

Scraper de perfil do LinkedIn que retorna dados estruturados do perfil em JSON.

Um framework de web crawler leve.

:newspaper: Deixe o ChatGPT resumir o Hacker News para você

Signal 18 repman - Gerenciador de replicação para MySQL / MariaDB / Percona Server

Empacotador de light novels, coleta conteúdo dos sites bilinovel.com e linovelib.com, compacta em formato EPUB, suporta capa, ilustrações, sumário e mesclagem de volumes.

Crawler em Python para remoção de marca d'água de vídeos curtos: Douyin, Pipixia, Huoshan, Weishi, Zuiyou, Kuaishou, Quanmin Xiaoshipin, Pipigaoxiao, Xigua Video, Huya, Pear Video, Acfun, Haokan Video...

Projeto de crawler de notícias de opinião pública de nível empresarial: suporta execução com um clique de qualquer número de crawlers, tarefas agendadas, exclusão em lote, implantação com um clique, monitoramento visualizado e configuração de estratégias de alocação de cluster

Repositório de crawlers para CatMovies e vídeos

Ideias e experiência em engenharia reversa de parâmetros de aplicativos, engenharia reversa Android

Krawl é um servidor de engano web nativo em nuvem, leve e personalizável, além de um anti-crawler que cria aplicativos web falsos com vulnerabilidades fáceis de explorar, usando dados de engodo realistas gerados aleatoriamente e templates HTML gerados por IA.

NetDiscovery é um framework/middleware de crawler genérico implementado com base em frameworks como Vert.x e RxJava 2.

Projeto de questionário, recomendação de servidores em nuvem, projeto de idle, proxy gratuito, coleta de diversos scripts. Clique no sininho no canto superior direito para receber atualizações em tempo real. (Não dê fork, mantenha discrição)

spider-admin-pro é uma ferramenta de gerenciamento visual para projetos de web scraping com Scrapy e Scrapyd, além de agendamento de tarefas, sendo uma versão atualizada do SpiderAdmin.

Script em Python 3 para extrair/coletar funcionários de empresas da API do LinkedIn

Um framework de alto nível confiável para web crawling e scraping para Node.js.

FreeProxy: Coleta de proxies gratuitos da internet. (Enorme quantidade de proxies gratuitos e de alta qualidade do mundo todo, suporte para rastreamento de dezenas de fontes de compartilhamento de proxies gratuitos, suporte para filtragem de proxies com regras personalizadas, essencial para web scraping e análise de dados, com atualização diária de uma enorme quantidade de proxies gratuitos.)

🎯 Software de análise de visualização de dados da seção de comentários do Bilibili -- criadores podem usar para orientar a escolha de temas e esclarecer seu público.