spider

基于 Elixir 的高性能网络爬虫 / 抓取器。

一个多线程爬虫框架，内置多种图片爬虫。

爬虫逆向案例，已完成：TLS 指纹｜瑞数｜震坤行｜网易易盾｜微信小程序反编译逆向（百达星系）｜同花顺｜rpc 解密｜加速乐｜极验滑块验证码｜巨量算数｜Boss 直聘｜企查查｜中国五矿｜QQ 音乐｜产业政策大数据平台｜企知道｜雪球网 (acw_sc__v2)｜1688｜七麦数据｜whggzy｜企名科技｜mohurd｜艺恩数据｜欧科云链

基于 Spring Boot 实现的 Java 股票爬虫（仅支持 A 股），若喜欢请给予星星。V2 升级版开发中！

一个功能多样的 Ruby 网络爬虫库，可以爬取网站、多个域、特定链接或进行无限爬取。Spidr 的设计宗旨是快速且易于使用。

一组用于从在互联网上发布其位置的来源中提取位置信息的网页爬虫与提取器。

基于中国国家图书馆 ISBN 检索的 calibre source/metadata 插件。https://doiiars.com/article/NLCISBNPlugin

一个渗透测试框架、信息搜集工具与网站漏洞扫描器

🕵️‍♂️ 爬取 LinkedIn 个人资料并以 JSON 格式返回结构化数据。

一个轻量级的网络爬虫框架。（Java爬虫框架）

:newspaper: 让 ChatGPT 为你总结 Hacker News

Signal 18 repman - 针对 MySQL / MariaDB / Percona Server 的复制管理器。

轻小说打包器，采集哔哩轻小说网站(bilinovel.com linovelib.com)内容，打包成 EPUB 格式，支持封面、插图、目录，支持分卷合并。

Python 短视频去水印爬虫：抖音、皮皮虾、火山、微视、最右、快手、全民小视频、皮皮搞笑、西瓜视频、虎牙、梨视频、acfun、好看视频...

开源企业级舆情新闻爬虫项目：支持任意数量爬虫一键运行、爬虫定时任务、爬虫批量删除；爬虫一键部署；爬虫监控可视化；配置集群爬虫分配策略；现成的 Docker 一键部署文档已为大家踩坑。一个企业级的舆情新闻爬虫项目：支持任意数量爬虫一键运行、爬虫定时任务、爬虫批量删除、爬虫一键部署。

Krawl 是一个可定制、轻量级、云原生网页欺骗服务器与反爬虫工具，通过逼真且随机生成的诱饵数据和 AI 生成的 HTML 模板，建立具有常见漏洞的假网页应用程序。

影视和猫影视爬虫仓库

逆向 app 参数的思路和体验，安卓逆向

NetDiscovery 是一款基于 Vert.x、RxJava 2 等框架实现的通用网络爬虫框架/中间件。

问卷调查项目、云服务器推荐、挂机项目、免费代理、各类脚本收集。欢迎点击右上角小铃铛以及时接收更新信息。（请勿 fork，低调）

spider-admin-pro 一款集爬虫 Scrapy+Scrapyd 项目查看与爬虫任务定时调度的可视化管理工具，SpiderAdmin 的升级版。

用于从 LinkedIn API 转储/抓取/提取公司员工的 Python 3 脚本

适用于 Node.js 的可靠高阶网页爬虫与数据抓取框架。

FreeProxy：从互联网收集免费代理服务器。支持爬取数十个免费代理分享源、自定义规则筛选，是爬虫与数据分析的必备工具，每日更新海量免费代理。

哔哩哔哩 (bilibili) 评论区数据可视化分析软件，协助 UP 主指导选题并厘清粉丝群体。