crawl
Repositórios de código aberto acompanhados marcados com crawl, ordenados por estrelas.
Tópicos relacionados
Tópicos que aparecem com frequência ao lado de crawl no mesmo repositório.
Em ascensão recentemente
Repositórios criados nos últimos 90 dias e marcados com crawl.
Nenhum repositório novo marcado com este tópico nos últimos 90 dias.
- #1
INFO-SPIDER é uma caixa de ferramentas de web scraping que reúne diversas fontes de dados, projetada para ajudar os usuários a recuperar seus próprios dados de forma segura e rápida, com código aberto e processos transparentes. Suporta fontes como GitHub, e-mails (QQ, NetEase, Ali, Sina, Hotmail, Outlook), plataformas de e-commerce (JD, Taobao), pagamentos (Alipay), operadoras de telecomunicações, redes sociais (Zhihu, Bilibili), música (NetEase Cloud Music), histórico do navegador, 12306 e blogs (博客园, CSDN, OSChina, Jianshu).
★ 8.246-1Variação de estrelas nos últimos 7 dias - #2
novel-plus é um sistema CMS de romances completo e multiplataforma (PC, WAP). Inclui recomendações, busca, rankings, leitura, estante, comentários, web crawler, área de membros, área de autores, assinaturas e notícias.
★ 4.719+10Variação de estrelas nos últimos 7 dias - #3
AnyCrawl: Um crawler em Node.js/TypeScript que converte sites em dados prontos para LLMs e extrai resultados estruturados de SERP do Google, Bing, Baidu, entre outros. Suporte nativo a multi-threading para processamento em massa.
★ 3.446+31Variação de estrelas nos últimos 7 dias - #4
Encapsulamento de solicitações baseado na versão Web do Xiaohongshu. https://reajason.github.io/xhs/
★ 2.203+1Variação de estrelas nos últimos 7 dias - #5★ 1.879+2Variação de estrelas nos últimos 7 dias
- #6
Web crawler para arquivistas: saída em formato WARC, painel para todos os crawls e padrões de ignorar dinâmicos
★ 1.609+2Variação de estrelas nos últimos 7 dias - #7★ 1.410+1Variação de estrelas nos últimos 7 dias
- #8
O SDK Python do Tavily permite interagir facilmente com a API do Tavily, oferecendo toda a gama de funcionalidades de busca, extração, rastreamento, mapeamento e pesquisa diretamente de seus programas em Python. Integre facilmente recursos de busca inteligente, extração de conteúdo e pesquisa em suas aplicações, aproveitando as poderosas funcionalidades do Tavily.
★ 1.388+14Variação de estrelas nos últimos 7 dias - #9
Engenharia reversa e descriptografia de parâmetros JS anti-crawler, incluindo Geetest, QQ Music, Pinduoduo, Boss Zhipin, Zhihu, KuGou, Vipshop, China Judgements Online, Taobao, Tianan Insurance, Bilibili, Fang, WPS, Weibo, Youdao, NetEase, WeChat, Kongzhong, Jingongzuo, sistemas de gestão escolar, entre outros.
★ 1.035+1Variação de estrelas nos últimos 7 dias - #10
Conversor e crawler de HTML para Markdown.
★ 626+0Variação de estrelas nos últimos 7 dias
