crawler

Casos de engenharia reversa de web scrapers, incluindo: impressão digital TLS, Rueshu, Zhenkunhang, NetEase Yidun, descompilação de mini-programas WeChat, Tonghuashun, descriptografia RPC, Jiasule, CAPTCHA de deslizamento Geetest, Juliansuan, Boss Zhipin, Qichacha, China Minmetals, QQ Music, plataforma de big data de políticas industriais, Qizhidao, Xueqiu (acw_sc__v2), 1688, Qimai Data, whggzy, Qiming Technology, mohurd, EntGroup, OKLink.

SiteOne Crawler é um rastreador e analisador de sites multiplataforma para SEO, segurança, acessibilidade e otimização de desempenho — ideal para desenvolvedores, engenheiros DevOps, QA e consultores. Suporta Windows, macOS e Linux (x64 e arm64).

API HTTP para spiders do Scrapy

API de alto desempenho assíncrona para Douyin, TikTok, Xiaohongshu, Kuaishou, Weibo, Instagram, YouTube, Twitter (X), resolvedor de CAPTCHA e e-mail temporário.

Uma biblioteca de testes/scraping/parsing baseada em Kotlin que oferece a capacidade de analisar e extrair dados de HTML (renderizado no servidor e no cliente). Enfatiza a facilidade de uso e a legibilidade ao fornecer uma DSL intuitiva. Seu objetivo é ser uma biblioteca de testes, mas também pode ser usada para fazer scraping de sites de forma conveniente.

ArrowDL (Arrow Downloader) é um gerenciador de downloads para Windows, MacOS e Linux

Uma biblioteca versátil de web spidering em Ruby capaz de rastrear um site, múltiplos domínios, links específicos ou de forma infinita. O Spidr foi projetado para ser rápido e fácil de usar.

Engenharia reversa de IA simplificada.

Código de tutorial de web scraping em Python simples, porém útil.

API Java para Chrome e Firefox

Baixador de doujinshi, 绅士漫画下载

Ferramenta poderosa para engenharia reversa de cookies JS: ferramenta de visualização de monitoramento de alterações de cookies JS e hook de cookies JS para pontos de interrupção condicionais.

Ferramenta de auditoria de SEO de código aberto.

Scraper de perfil do LinkedIn que retorna dados estruturados do perfil em JSON.

Repositório de código para o livro "《爬虫逆向进阶实战》"

Um framework de web crawler leve.

O Big Brother V6.0 é uma plataforma OSINT armada que inclui enumeração de nomes de usuário (mais de 473 plataformas), inteligência visual de vetor quádruplo, rastreamento Sky Radar, análise de carteiras criptográficas, inteligência SSL, reconstrução de pegada digital, extração EXIF, dorking avançado e reconhecimento de rede.

:newspaper: Deixe o ChatGPT resumir o Hacker News para você

Um aplicativo de backup de blogs do Tumblr e Twitter

A melhor biblioteca PTT

Wscan é um scanner de segurança web focado em tornar a segurança na web acessível a todos.

Pesquise no google, bing, yahoo e outros mecanismos de busca com python

Repositório oficial para "Craw4LLM: Efficient Web Crawling for LLM Pretraining"

NetDiscovery é um framework/middleware de crawler genérico implementado com base em frameworks como Vert.x e RxJava 2.

Krawl é um servidor de engano web nativo em nuvem, leve e personalizável, além de um anti-crawler que cria aplicativos web falsos com vulnerabilidades fáceis de explorar, usando dados de engodo realistas gerados aleatoriamente e templates HTML gerados por IA.

Salva páginas da web localmente no seu disco rígido com imagens, CSS, JS e links tal como estão.

O Moodle-DL baixa o conteúdo de cursos rapidamente do Moodle (ex: PDFs de aulas)

Jie destaca-se como uma ferramenta abrangente de avaliação de segurança e exploração, meticulosamente elaborada para aplicações web. Seu robusto conjunto de recursos abrange escaneamento de vulnerabilidades, coleta de informações e exploração, tornando-o um kit de ferramentas indispensável tanto para profissionais de segurança quanto para testadores de penetração.

Um framework de alto nível confiável para web crawling e scraping para Node.js.

Infraestrutura web de código aberto para IA. Faça raspagem, rastreamento e automatize a web, limpe markdown, sessões de navegador, pronto para seus agentes.