crawler

Prompts de GPTs vazados para contornar o limite de 25 mensagens ou experimentar GPTs sem uma assinatura Plus.

Framework de Web Scraping

CrawlerDetect é uma classe PHP para detectar bots/crawlers/spiders através do user agent

Framework de web crawler em C# multiplataforma, construído para velocidade e flexibilidade.

Clonador de sites - Utiliza poderosas Go routines para clonar sites para o seu computador em segundos.

🏳️‍🌈 Downloader de mídia para diversos sites, incluindo Twitter, Reddit, Instagram, BlueSky, TikTok, Threads, Facebook, OnlyFans, YouTube, Pinterest, PornHub, XHamster, XVIDEOS, ThisVid, entre outros.

Transforme conteúdo da web em dados prontos para LLM

LanTian Collector é um sistema de web scraping open source gratuito. Permite coletar dados apenas clicando e editando regras, podendo ser executado localmente, em hospedagem virtual ou servidores em nuvem. Suporta quase todos os tipos de páginas, integra-se perfeitamente a diversos CMS, publica dados em tempo real sem necessidade de login e opera de forma totalmente automática.

Framework de web crawling baseado em asyncio.

Coleção de casos de web scraping. Inclui, mas não se limita a Taobao, JD.com, Tmall, Douban, Douyin, Kuaishou, Weibo, WeChat, Alibaba, Toutiao, PDD, Youku, iQiyi, Ctrip, 12306, 58, Sohu, vários índices, VIP, Wanfang, Z-Library, Oalib, romances, sites de licitação, sites de compras, Xiaohongshu, Dianping, Twitter, Maimai, Zhihu.

Navegador antidetect gratuito para Playwright: Firefox headless indetectável com fingerprint. Web scraping em Python, bypass de recaptcha e detecção de bots. Código aberto.

Biblioteca principal do NewPipe para extração de dados de sites de streaming

Solução de exploração de memória do navegador (em fase de exploração...)

Introdução ao site de links magnéticos U3C3 e atualização de domínio

Biblioteca flexível de crawler assistido por IA em Node.js

Monitoramento, coleta e transferência de conteúdo multiplataforma. Um painel web para gerenciar Douyin / Xiaohongshu / Kuaishou.

Diskover Community Edition - Indexador de arquivos, motor de busca, gerenciamento de dados e análise de código aberto alimentado pelo Elasticsearch.

Web crawler de imagens multiprocessado para Google e Naver (Selenium)

Binding em Python para as engines Modest e Lexbor. Um parser de HTML5 rápido com seletores CSS para Python.

Web scrapers em Python: músicas do NetEase Cloud Music, vídeos do Bilibili, perguntas e respostas do Zhihu, papéis de parede, vídeos do xvideos, audiolivros, Weibo, dados do Anjuke com visualização, extrator de capas de vídeo do Bilibili, pool de proxies IP, análise de dados de usuários do Zhihu e scrapers de usuários do GitHub.

Web crawler para arquivistas: saída em formato WARC, painel para todos os crawls e padrões de ignorar dinâmicos

Web scraper para Douyin: coleta dados públicos como perfis, curtidas, favoritos, áudios originais, tópicos, buscas, coleções, publicações, seguidores e seguidos.

ScopeSentry: mapeamento de ciberespaço, enumeração de subdomínios, varredura de portas, descoberta de informações sensíveis, varredura de vulnerabilidades e nós distribuídos

Ferramenta CLI para salvar uma cópia fiel de uma página da web completa em um único arquivo HTML (com base no SingleFile)

❤️ Fredy - [F]ind [R]eal [E]state [D]amn Eas[y] - O Fredy continua procurando novos apartamentos e casas na Europa em plataformas como ImmoScout24, Immowelt, eBay Kleinanzeigen e entrega os resultados instantaneamente para você via Slack, Telegram, E-mail, Discord ou ntfy, para que você possa se concentrar nas coisas mais importantes da vida ;)

Elasticsearch File System Crawler (FS Crawler)

Um cliente HTTP Python ergonômico e focado em privacidade.

Ferramenta de coleta de dados do Xiaohongshu e download em lote de imagens e vídeos de sites, com interface visual atraente (download em lote, extração de vídeo, imagens)

Coleção de patches para puppeteer e playwright para evitar detecção de automação e vazamentos. Ajuda a evitar páginas de CAPTCHA do Cloudflare e DataDome. Fácil de aplicar/remover, pode ser ativado/desativado sob demanda.

Uma estrutura de medição de privacidade na web.