scraper

Newspaper4k, um fork do popular Newspaper3k. Extração de artigos, títulos e metadados de sites de notícias.

Crawly, um framework de alto nível para web crawling e scraping em Elixir.

Escreva web scrapers em Ruby usando um DSL limpo e assistido por IA. O Kimurai usa IA para identificar onde os dados estão, faz cache dos seletores e faz o scraping com Ruby puro. Tenha a inteligência de um LLM sem a latência por requisição ou custos de tokens.

Scripts de web scraping em Python escaláveis para mais de 40 domínios populares

API REST PHP não oficial do MyAnimeList que fornece funções além da API oficial

Universal Reddit Scraper - Uma ferramenta de linha de comando abrangente para scraping e arquivamento do Reddit.

Um gerenciador abrangente que gerencia recursos de computadores e oferece gamificação

Um cliente HTTP em Rust ergonômico e com foco em privacidade

Scraper do Google Play para Python inspirado em <facundoolano/google-play-scraper>.

A primeira ferramenta para visualizar "posts privados do Instagram" anonimamente

Um web crawler / scraper de alto desempenho em Elixir.

Busque tweets, respostas, cronogramas e artigos do X/Twitter sem login ou chaves de API — ferramenta de campo para agentes de IA.

API HTTP para spiders do Scrapy

Uma biblioteca de testes/scraping/parsing baseada em Kotlin que oferece a capacidade de analisar e extrair dados de HTML (renderizado no servidor e no cliente). Enfatiza a facilidade de uso e a legibilidade ao fornecer uma DSL intuitiva. Seu objetivo é ser uma biblioteca de testes, mas também pode ser usada para fazer scraping de sites de forma conveniente.

Ferramenta de linha de comando para baixar e extrair dados de páginas HTML/XML ou APIs JSON, usando CSS, XPath 3.0, XQuery 3.0, JSONiq ou correspondência de padrões. Também pode criar documentos XML/HTML/JSON novos ou transformados.

Crie um arquivo ZIM a partir de qualquer site e navegue offline!

Um downloader de galerias de imagens e doujinshi de uso geral.

Converte alguns webnovels para o formato epub

Uma biblioteca versátil de web spidering em Ruby capaz de rastrear um site, múltiplos domínios, links específicos ou de forma infinita. O Spidr foi projetado para ser rápido e fácil de usar.

API Java para Chrome e Firefox

Um banco de dados aberto de dados de sanções internacionais, pessoas de interesse e pessoas politicamente expostas

Motor de scraping auto-hospedado — contorna qualquer desafio de JS e captcha: Cloudflare, Turnstile, reCAPTCHA, hCaptcha, GeeTest. Alternativa ao FlareSolverr e Byparr, e substituto direto para sua stack *arr.

Scraper de perfil do LinkedIn que retorna dados estruturados do perfil em JSON.

operative framework é um framework OSINT de investigação em Rust, você pode interagir com vários alvos, executar vários módulos, criar links com o alvo, exportar relatório para arquivo PDF, adicionar notas ao alvo ou resultados, interagir com API RESTful, escrever seus próprios módulos.

Um rastreador de preços multiusuário auto-hospedado para Amazon, Aliexpress, eBay e muitos outros, juntamente com lojas personalizadas. Receba notificações quando o preço corresponder a um ou mais critérios definidos pelo usuário

Pacote Python para extração de dados de propriedades imobiliárias

A ferramenta Slash OSINT

Uma biblioteca Scala para extração de conteúdo de páginas HTML

Uma lista de scrapers da web.

Documentação da API interna do Twitter