scraping

Geziyor, um framework de web crawling e scraping extremamente rápido para Go. Suporta renderização JS.

Biblioteca Python e CLI para scraping do X/Twitter com rotação de múltiplas contas e tratamento de limite de taxa integrado.

Obtenha dados da web para agentes de IA e LLMs

Um servidor poderoso de Model Context Protocol (MCP) que fornece uma solução completa para acesso público à web.

Núcleo de navegador de privacidade avançado com defesa unificada contra fingerprinting: Cloudflare, Akamai, Kasada, Shape, DataDome, PerimeterX, hCaptcha, FunCaptcha, Imperva, reCAPTCHA, ThreatMetrix, Adscore

Ferramentas de impressão digital do navegador para anonimizar seus web scrapers. Desenvolvido por Apify.

Uma lista curada de recursos incríveis sobre Puppeteer.

Um utilitário CLI para capturar screenshots de sites, gravar demonstrações em vídeo e realizar scraping usando JavaScript.

Framework de Web Scraping

Cheat sheet de OSINT, lista de ferramentas, wiki, conjuntos de dados, artigos, livros, OSINT para red team e dicas de OSINT. Este repositório crescerá conforme novas pesquisas, ciência, tecnologia e tutoriais forem adicionados. Por favor, use com responsabilidade.

Obtenha informações de qualquer serviço ou página web

Navegador antidetect gratuito para Playwright: Firefox headless indetectável com fingerprint. Web scraping em Python, bypass de recaptcha e detecção de bots. Código aberto.

Internet-in-a-Box - Construa sua própria BIBLIOTECA DE ALEXANDRIA com um Raspberry Pi!

Lista de ferramentas e navegadores anti-detecção e humanizadores, incluindo resolvedores de captcha e ativação de SMS.

Esconda o IP dos seus scrapers atrás da nuvem. Provisione servidores proxy em diferentes provedores de nuvem para melhorar o sucesso do seu scraping.

Neste tutorial, demonstramos como extrair dados públicos do Google usando Python e a API da Oxylabs.

Obtenha dados limpos de documentos complexos, com tecnologia de modelos de visão e linguagem ⚡.

AgentQL é um conjunto de ferramentas para conectar sua IA à web. Apresenta uma linguagem de consulta e integrações com Playwright para interagir com elementos e extrair dados de forma rápida, precisa e em escala. Inclui API REST, SDKs para Python e JavaScript e depurador de navegador.

Coleção de patches para puppeteer e playwright para evitar detecção de automação e vazamentos. Ajuda a evitar páginas de CAPTCHA do Cloudflare e DataDome. Fácil de aplicar/remover, pode ser ativado/desativado sob demanda.

🤖 Extraia dados de sites HTML automaticamente apenas fornecendo exemplos

Diários oficiais brasileiros acessíveis a todos.

Bot de criação automática de contas Gmail em massa de código aberto com Selenium e Seleniumwire (Python). Sinta-se à vontade para entrar em contato comigo para Django/Flask, ML, IA, GPT, automação e scraping.

Biblioteca leve para web scraping utilizando LLMs

O Parsel permite extrair dados de documentos XML/HTML usando XPath ou seletores CSS

Monitore tudo a partir do seu terminal.

Proxies residenciais rotativos HTTP(S)/SOCKS5 - exemplos de código e informações gerais.

🎭 Gerador inteligente de cabeçalhos e impressões digitais de navegador

Uma alternativa de código aberto ao searx que oferece um meta motor de busca moderno, extremamente rápido, que respeita a privacidade e é seguro.

framework de serviço modular para mover e transformar pacotes de rede

Ferramentas para diversos juízes online. Download de casos de exemplo, geração de casos de teste adicionais, teste de código e submissão.