scraping

Um fork totalmente reformulado e redesignado, reimaginado do zero com base no onlyfans-scraper original

Newspaper4k, um fork do popular Newspaper3k. Extração de artigos, títulos e metadados de sites de notícias.

O agente que transforma sites em APIs!

Crawly, um framework de alto nível para web crawling e scraping em Elixir.

Arquive automaticamente links de vídeos, imagens e conteúdo de redes sociais a partir do Google Sheets (e mais).

⛏️ O motor de extração por trás do Maigret: transforme qualquer URL de perfil em um registro OSINT estruturado em mais de 150 sites

Scripts de web scraping em Python escaláveis para mais de 40 domínios populares

🧹 Pacote Python para limpeza de texto

🚀 Web scraping para humanos

Colete respostas estruturadas de um raspador do ChatGPT enviando um prompt com credenciais válidas da API de raspagem do ChatGPT. Ative pesquisa ao vivo, injete contexto HTML e automatize fluxos de trabalho inteligentes de raspagem do ChatGPT em poucos parâmetros.

Ferramenta em Python para transformar páginas do Notion.so em sites estáticos leves e personalizáveis

Um conjunto de ferramentas CLI para gerar automaticamente o sumário para arquivos PDF.

Código de tutorial de web scraping em Python simples, porém útil.

Motor de scraping auto-hospedado — contorna qualquer desafio de JS e captcha: Cloudflare, Turnstile, reCAPTCHA, hCaptcha, GeeTest. Alternativa ao FlareSolverr e Byparr, e substituto direto para sua stack *arr.

Scraper de perfil do LinkedIn que retorna dados estruturados do perfil em JSON.

Lookyloo é uma interface web que permite aos usuários capturar uma página da web e exibir uma árvore de domínios que chamam uns aos outros.

😈📚 Uma biblioteca com curadoria de artigos de pesquisa e apresentações para entusiastas de contra-detecção e privacidade na web.

Pacote Python pip para resultados de pesquisa do Google via SERP API

Um mecanismo de rotação de proxy de alto desempenho com gerenciamento automatizado de IP e monitoramento de integridade em tempo real.

Pacote Python para extração de dados de propriedades imobiliárias

Comic-dl é uma ferramenta de linha de comando para baixar mangás e quadrinhos de vários sites. Sites suportados: readcomiconline.to, mangafox.me, comic naver e muitos outros.

:card_index: Extraia perfis de redes sociais e mais com expressões regulares

Mergulhe no web scraping e construa um rastreador de preços de e-commerce com Next.js 13 em um único vídeo que ensina extração de dados, cron jobs, envio de e-mails, implantação e muito mais.

Colaboração em sandbox para equipes multiagentes: um fórum de mensagens baseado em Git, onde cada agente é isolado em sua própria sandbox descartável. Transforme um repositório Git em um fórum de mensagens seguro para agentes de IA.

Uma API para extrair metadados de sites de tribunais americanos.

Kemono Pawchive Downloader é um aplicativo rápido em PyQt5 para arquivar conteúdo de diversos sites, incluindo Kemono, Coomer, Bunkr, Erome, Saint2.su, nhentai e Discord. Possui navegador de criadores, verificador de atualizações e suporte a downloads multi-thread e multi-parte, com recursos de pausa, retomada e recuperação de sessões.

A demo mais simples de automação do Chrome usando Python e Selenium no AWS Lambda

Esta aplicação em Python é uma ferramenta de OSINT (Inteligência de Fontes Abertas) chamada "Ominis OSINT - Web Hunter". Ela realiza coleta de informações online consultando o Google por resultados de pesquisa relacionados a uma consulta inserida pelo usuário. A ferramenta extrai informações relevantes, como títulos, URLs e menções potenciais da consulta nos resultados.

Script em Python 3 para extrair/coletar funcionários de empresas da API do LinkedIn

Scraper universal do Reddit - Funciona em qualquer Subreddit ou Usuário