spider

Framework de Web Scraping

CrawlerDetect é uma classe PHP para detectar bots/crawlers/spiders através do user agent

Baixe imagens do Google, Bing e Baidu.

Framework de web crawler em C# multiplataforma, construído para velocidade e flexibilidade.

LanTian Collector é um sistema de web scraping open source gratuito. Permite coletar dados apenas clicando e editando regras, podendo ser executado localmente, em hospedagem virtual ou servidores em nuvem. Suporta quase todos os tipos de páginas, integra-se perfeitamente a diversos CMS, publica dados em tempo real sem necessidade de login e opera de forma totalmente automática.

Framework de web crawling baseado em asyncio.

Introdução ao site de links magnéticos U3C3 e atualização de domínio

Biblioteca flexível de crawler assistido por IA em Node.js

Scanner de aplicações web baseado em Python para coletar OSINT e realizar fuzzing de vulnerabilidades OWASP em um site alvo.

QQ空间导出助手，用于备份QQ空间的说说、日志、私密日记、相册、视频、留言板、QQ好友、收藏夹、分享、最近访客为文件，便于迁移与保存

Web scrapers em Python: músicas do NetEase Cloud Music, vídeos do Bilibili, perguntas e respostas do Zhihu, papéis de parede, vídeos do xvideos, audiolivros, Weibo, dados do Anjuke com visualização, extrator de capas de vídeo do Bilibili, pool de proxies IP, análise de dados de usuários do Zhihu e scrapers de usuários do GitHub.

Web crawler para arquivistas: saída em formato WARC, painel para todos os crawls e padrões de ignorar dinâmicos

Web scraper para Douyin: coleta dados públicos como perfis, curtidas, favoritos, áudios originais, tópicos, buscas, coleções, publicações, seguidores e seguidos.

Compilação de artigos interessantes sobre engenharia reversa que valem a pena ler.

Compartilhamento de código de web scraping do K-Ge, engenharia reversa de JS e técnicas avançadas de scraping. Siga a conta oficial: K哥爬虫

Diários oficiais brasileiros acessíveis a todos.

O kit de ferramentas principal para auditoria e exploração de Cross Site Request Forgery (CSRF).

Uma ferramenta de download para capturar e-books da internet.

Web scraper para BOSS Zhipin / Ferramenta de extração de dados de vagas, baseada no protocolo Chrome CDP para reutilizar o estado de login real, contornar anti-scraping de fontes e exportar salários em texto simples JSON/CSV + análise de habilidades salariais.

Beanbun é um framework de web crawler multiprocesso escrito em PHP, com alta abertura e escalabilidade, baseado no Workerman.

50 notas sobre LLMs. Este repositório contém projetos práticos nas áreas de aprendizado de máquina, aprendizado profundo, visão computacional, processamento de linguagem natural, grandes modelos de linguagem e web scraping.

Crawly, um framework de alto nível para web crawling e scraping em Elixir.

:alien: OneBlog, um blog Java limpo, bonito, poderoso e responsivo

Web crawler para artigos de contas oficiais do WeChat

Scripts de web scraping em Python escaláveis para mais de 40 domínios populares

Engenharia reversa e descriptografia de parâmetros JS anti-crawler, incluindo Geetest, QQ Music, Pinduoduo, Boss Zhipin, Zhihu, KuGou, Vipshop, China Judgements Online, Taobao, Tianan Insurance, Bilibili, Fang, WPS, Weibo, Youdao, NetEase, WeChat, Kongzhong, Jingongzuo, sistemas de gestão escolar, entre outros.

Remoção de marca d'água de vídeos curtos em Golang: Douyin, Pipixia, Huoshan, Weishi, Zuiyou, Kuaishou, Quanmin Xiaoshipin, Pipigaoxiao, Xigua Video, Huya, Pear Video, AcFun, Haokan Video...

Download de romances, web scraping, Qidian, Biquge, exportação para Markdown, exportação para txt, conversão para epub, filtragem de anúncios e correção automática

Um web spider configurável com um console web fácil de usar

Lançamentos, wiki e roadmap do SpiderSuite (crawler de segurança web)