crawler
Repositórios de código aberto acompanhados marcados com crawler, ordenados por estrelas.
- #31
Coleção prática de web scrapers para diversos sites e e-commerce, incluindo Taobao, WeChat, Dazhong Dianping, Qichacha, sites de emprego, Xianyu, Alibaba, CnBlogs, Weibo, Baidu Tieba, Douban, Baotu, Panorama, música do Douban, órgãos reguladores de medicamentos, Sohu News, coleta de texto para machine learning, ativos fofa, Autohome, NBS, contagem de palavras-chave do Baidu, diretórios de busca, Toutiao, críticas de filmes do Douban, Trip.com, Xiaomi App Store, Anjuke e Tujia.
★ 5.670+6Variação de estrelas nos últimos 7 dias - #32
Componentes baseados em Redis para Scrapy.
★ 5.643+1Variação de estrelas nos últimos 7 dias - #33
Análise de sistemas de proteção contra bots com contramedidas disponíveis 🚿. Como derrotar sistemas anti-bot 👻 e contornar scripts de fingerprinting de navegador 🕵️♂️ ao realizar web scraping?
★ 5.131+5Variação de estrelas nos últimos 7 dias - #34★ 4.767+47Variação de estrelas nos últimos 7 dias
- #35
Coleção de casos ilegais na China sobre web crawlers. Este projeto organiza notícias, dados e regulamentações legais sobre processos e violações de desenvolvedores de crawlers na China continental, visando ajudar profissionais da área a entender as leis locais e evitar riscos de conformidade de dados.
★ 4.724+7Variação de estrelas nos últimos 7 dias - #36
Web crawler para o Sina Weibo, desenvolvido em Python para coletar dados, imagens e vídeos da plataforma.
★ 4.632+8Variação de estrelas nos últimos 7 dias - #37
Uma forma comunitária de ler e conversar com bots de IA, utilizando o chatGPT.
★ 4.417-2Variação de estrelas nos últimos 7 dias - #38
Ferramenta de download de quadrinhos e romances para diversas plataformas, incluindo Tencent, U17, Migu, SF, webtoons, Niconico, ComicWalker, pixiv, Qidian, Biquge e muitas outras, com conversão para epub.
★ 4.203+10Variação de estrelas nos últimos 7 dias - #39
Proxy [Finder | Checker | Server]. HTTP(S) & SOCKS.
★ 4.156-3Variação de estrelas nos últimos 7 dias - #40
DotnetSpider, uma biblioteca de web crawling padrão .NET. É um framework de web crawling e scraping de alto nível, leve, eficiente e rápido
★ 4.138+0Variação de estrelas nos últimos 7 dias - #41
Pool de proxies inteligente para Humanos™ extraírem conteúdo da internet e construírem seus próprios Modelos de Linguagem Grande nesta nova era de IA.
★ 4.020+0Variação de estrelas nos últimos 7 dias - #42
API .NET para Headless Chrome
★ 3.917+1Variação de estrelas nos últimos 7 dias - #43
Recebe uma lista de domínios, rastreia URLs e verifica endpoints, segredos, chaves de API, extensões de arquivo, tokens e muito mais.
★ 3.758+5Variação de estrelas nos últimos 7 dias - #44
Ferramenta completa para coleta de informações, verificação de vulnerabilidades e rastreamento. Uma ferramenta indispensável para todos os testadores de penetração
★ 3.749+1Variação de estrelas nos últimos 7 dias - #45
feapder é um framework de crawler em Python fácil de usar e poderoso. Inclui quatro tipos de crawlers (AirSpider, Spider, TaskSpider, BatchSpider) para diferentes cenários, suportando retomada de pontos de interrupção, monitoramento, renderização de navegador e desduplicação de dados em massa, além do sistema de gerenciamento feaplat.
★ 3.732-3Variação de estrelas nos últimos 7 dias - #46★ 3.724+0Variação de estrelas nos últimos 7 dias
- #47★ 3.555+0Variação de estrelas nos últimos 7 dias
- #48★ 3.036+2Variação de estrelas nos últimos 7 dias
- #49★ 2.995+1Variação de estrelas nos últimos 7 dias
- #50
Reconhecimento web tudo em um.
★ 2.957+4Variação de estrelas nos últimos 7 dias - #51
Scraper em Node.js para obter dados do Google Play.
★ 2.956+7Variação de estrelas nos últimos 7 dias - #52★ 2.875+3Variação de estrelas nos últimos 7 dias
- #53
DecryptLogin: APIs para realizar login em diversos sites usando requests.
★ 2.852-3Variação de estrelas nos últimos 7 dias - #54★ 2.829+0Variação de estrelas nos últimos 7 dias
- #55
Geziyor, um framework de web crawling e scraping extremamente rápido para Go. Suporta renderização JS.
★ 2.776+1Variação de estrelas nos últimos 7 dias - #56
Videodl: um downloader de vídeo leve escrito em Python puro, com suporte a diversas plataformas de streaming como TikTok, YouTube, Bilibili, entre outras.
★ 2.713+35Variação de estrelas nos últimos 7 dias - #57★ 2.690+0Variação de estrelas nos últimos 7 dias
- #58★ 2.687+15Variação de estrelas nos últimos 7 dias
- #59★ 2.510+0Variação de estrelas nos últimos 7 dias
- #60
news-please - um crawler web integrado e extrator de informações para notícias que simplesmente funciona
★ 2.485+2Variação de estrelas nos últimos 7 dias
