spider

Um web crawler/spider visual no-code/code-free. Yi Cai Ji: um software de teste automatizado de navegador, coleta de dados e web crawler visual que permite projetar e executar tarefas de crawler graficamente sem código. Apelido: ServiceWrapper, um sistema inteligente de encapsulamento de serviços voltado para aplicações Web.

Framework elegante de Scraper e Crawler para Golang

ProxyPool em Python para web spider

Douyin_TikTok_Download_API é uma ferramenta de scraping de dados de alto desempenho e assíncrona para Douyin, Kuaishou, TikTok e Bilibili, pronta para uso, com suporte a chamadas de API e análise e download em lote online.

Alguns exemplos interessantes de web scrapers em Python, amigáveis para iniciantes, focados principalmente em sites como Taobao, Tmall, WeChat, WeChat Reading, Douban e QQ.

Crawler extremamente rápido projetado para OSINT.

Plataforma de gerenciamento de web crawlers distribuídos, independente de linguagem ou framework.

Software de gravação de lives com suporte a monitoramento cíclico e gravação multiusuário, compatível com mais de 40 plataformas, incluindo Douyin, TikTok, Youtube, Twitch, entre outras.

Sistema de gerenciamento de filmes AV, web scrapers para avmoo, javbus e javlibrary, biblioteca de vídeos AV online, banco de dados de links magnéticos AV, biblioteca de vídeos adultos japoneses, links magnéticos de vídeos adultos - banco de dados de vídeos adultos japoneses

INFO-SPIDER é uma caixa de ferramentas de web scraping que reúne diversas fontes de dados, projetada para ajudar os usuários a recuperar seus próprios dados de forma segura e rápida, com código aberto e processos transparentes. Suporta fontes como GitHub, e-mails (QQ, NetEase, Ali, Sina, Hotmail, Outlook), plataformas de e-commerce (JD, Taobao), pagamentos (Alipay), operadoras de telecomunicações, redes sociais (Zhihu, Bilibili), música (NetEase Cloud Music), histórico do navegador, 12306 e blogs (博客园, CSDN, OSChina, Jianshu).

Lista de bibliotecas, ferramentas e APIs para web scraping e processamento de dados.

Pholcus é um software de crawler distribuído de alta concorrência escrito em Go puro

Uma coleção de web crawlers e spiders incríveis em diferentes linguagens.

Web Crawler/Spider para NodeJS + jQuery no lado do servidor.

Sincronize artigos com várias plataformas de conteúdo com um clique. Suporta Toutiao, WordPress, Zhihu, Jianshu, Juejin, CSDN e Typecho. Publique uma vez e sincronize em múltiplas plataformas para aumentar a produtividade.

Ferramenta de OSINT para a Dark Web.

novel-plus é um sistema CMS de romances completo e multiplataforma (PC, WAP). Inclui recomendações, busca, rankings, leitura, estante, comentários, web crawler, área de membros, área de autores, assinaturas e notícias.

feapder é um framework de crawler em Python fácil de usar e poderoso. Inclui quatro tipos de crawlers (AirSpider, Spider, TaskSpider, BatchSpider) para diferentes cenários, suportando retomada de pontos de interrupção, monitoramento, renderização de navegador e desduplicação de dados em massa, além do sistema de gerenciamento feaplat.

Todo site fornece APIs.

Framework de gerenciamento de crawler distribuído baseado em Scrapy, Scrapyd, Django e Vue.js.

Web scraper para artigos de contas oficiais do WeChat.

Aplicação web para gerenciamento de cluster Scrapyd, análise e visualização de logs do Scrapy, empacotamento automático, tarefas agendadas, monitoramento e alerta, e interface móvel.

Gospider - Web spider rápido escrito em Go

Remoção de marca d'água de vídeos curtos: Douyin, Pipixia, Huoshan, Weishi, Weibo, Oasis, Zuiyou, Qing Shipin, Kuaishou, Quanmin Xiao Shipin, Base Film, Momo, Before, Eyepetizer, Vue Vlog, Xiaokaxiu, Pipi Gaoxiao, Quanmin K Ge, Xigua Shipin, Doupai, Huya, 6 Rooms, Pear Video, New Studio, AcFun, Meipai...

owllook - Motor de busca de romances

DecryptLogin: APIs para realizar login em diversos sites usando requests.

Geziyor, um framework de web crawling e scraping extremamente rápido para Go. Suporta renderização JS.

Tutorial prático de Go do básico ao avançado, incluindo uso de bibliotecas fundamentais, padrões de projeto, pontos comuns de erro em entrevistas, utilitários e integração com terceiros.

O framework de crawler PHP progressivo e elegante.

Obtenha dados da web para agentes de IA e LLMs