crawler

Compilação de artigos interessantes sobre engenharia reversa que valem a pena ler.

🤖 Extraia dados de sites HTML automaticamente apenas fornecendo exemplos

Compartilhamento de código de web scraping do K-Ge, engenharia reversa de JS e técnicas avançadas de scraping. Siga a conta oficial: K哥爬虫

Web crawler/scraper leve em Ruby com uma DSL elegante que extrai dados estruturados de páginas.

O kit de ferramentas principal para auditoria e exploração de Cross Site Request Forgery (CSRF).

📝 Obtenha rapidamente informações (como seguidores, tags, etc.) de um perfil do Instagram.

O scanner de dorks mais rápido escrito em Go.

Web scraper para BOSS Zhipin / Ferramenta de extração de dados de vagas, baseada no protocolo Chrome CDP para reutilizar o estado de login real, contornar anti-scraping de fontes e exportar salários em texto simples JSON/CSV + análise de habilidades salariais.

Beanbun é um framework de web crawler multiprocesso escrito em PHP, com alta abertura e escalabilidade, baseado no Workerman.

Um downloader de mangás do Bilibili com interface gráfica, suporte a busca por palavras-chave, login via QR code, download de capítulos bloqueados, multithreading, múltiplos formatos de salvamento e gerenciamento local.

Ferramenta de exploração automática de aplicativos baseada em Appium

Baixe facilmente todas as fotos e vídeos de blogs do Tumblr.

Newspaper4k, um fork do popular Newspaper3k. Extração de artigos, títulos e metadados de sites de notícias.

Servidor de busca empresarial e de sites de código aberto e auto-hospedado, construído sobre o OpenSearch. Indexa fontes da web, arquivos, bancos de dados e nuvem, suporta mais de 20 idiomas, API REST, IA/RAG e busca semântica. Licença Apache-2.0.

Execute um crawler de arquivamento web baseado em navegador de alta fidelidade em um único container Docker

Crawly, um framework de alto nível para web crawling e scraping em Elixir.

Escreva web scrapers em Ruby usando um DSL limpo e assistido por IA. O Kimurai usa IA para identificar onde os dados estão, faz cache dos seletores e faz o scraping com Ruby puro. Tenha a inteligência de um LLM sem a latência por requisição ou custos de tokens.

Scripts de web scraping em Python escaláveis para mais de 40 domínios populares

Remoção de marca d'água de vídeos curtos em Golang: Douyin, Pipixia, Huoshan, Weishi, Zuiyou, Kuaishou, Quanmin Xiaoshipin, Pipigaoxiao, Xigua Video, Huya, Pear Video, AcFun, Haokan Video...

Download de romances, web scraping, Qidian, Biquge, exportação para Markdown, exportação para txt, conversão para epub, filtragem de anúncios e correção automática

Um cliente HTTP em Rust ergonômico e com foco em privacidade

Scraper do Google Play para Python inspirado em <facundoolano/google-play-scraper>.

Uma ferramenta para o pixiv.net. Um crawler do Pixiv acessível a todos

Um web crawler escalável, maduro e versátil baseado no Apache Storm

Lançamentos, wiki e roadmap do SpiderSuite (crawler de segurança web)

Um web crawler / scraper de alto desempenho em Elixir.

Alternativa rápida e leve ao Firecrawl/Tavily em Rust. Web scraper, crawler e API de pesquisa com servidor MCP para agentes de IA. API compatível com Firecrawl nativa (/scrape, /crawl, /search). 2,3x mais rápido que o Tavily e 1,5x mais rápido que o Firecrawl em benchmarks de 1K URLs. 6 MB de RAM, binário único. Auto-hospedado ou em nuvem gerenciada.

Ferramentas de protocolo em Python puro e notas de pesquisa para o X.com, com conjuntos de dados da conta VibeLoft no Twitter

Um framework de crawler multi-thread com vários crawlers de imagem integrados.

ChatWeb pode rastrear páginas da web, ler PDF, DOCX, TXT e extrair o conteúdo principal, respondendo às suas perguntas com base nele ou resumindo os pontos-chave.