crawler

爬虫逆向案例，已完成：TLS 指纹｜瑞数｜震坤行｜网易易盾｜微信小程序反编译逆向（百达星系）｜同花顺｜rpc 解密｜加速乐｜极验滑块验证码｜巨量算数｜Boss 直聘｜企查查｜中国五矿｜QQ 音乐｜产业政策大数据平台｜企知道｜雪球网 (acw_sc__v2)｜1688｜七麦数据｜whggzy｜企名科技｜mohurd｜艺恩数据｜欧科云链

SiteOne Crawler 是一个跨平台的网站爬虫与分析工具，适用于 SEO、安全性、无障碍性与性能优化——非常适合开发人员、DevOps、QA 工程师与顾问。支持 Windows、macOS 和 Linux (x64 和 arm64)。

Scrapy 爬虫的 HTTP API

高性能异步抖音、TikTok、小红书、快手、微博、Instagram、YouTube、Twitter(X)、验证码解决器、临时邮箱 API。

一个基于 Kotlin 的测试/抓取/解析库，能够从 HTML（服务端与客户端渲染）中分析并提取数据。它通过提供直观的 DSL，特别强调易用性与高度可读性。旨在成为一个测试库，同时也能以便利的方式用于网页爬虫。

ArrowDL (Arrow Downloader) 是一个适用于 Windows、MacOS 与 Linux 的下载管理器

ai reverse 一把梭

一个功能多样的 Ruby 网络爬虫库，可以爬取网站、多个域、特定链接或进行无限爬取。Spidr 的设计宗旨是快速且易于使用。

简单但实用的 Python 网页爬虫教程代码。

适用于 Chrome 与 Firefox 的 Java API

同人本下载器 绅士漫画下载

js cookie 逆向利器：js cookie 变动监控可视化工具与 js cookie hook 条件断点工具

开源的 SEO 审计工具。

🕵️‍♂️ 爬取 LinkedIn 个人资料并以 JSON 格式返回结构化数据。

《爬虫逆向进阶实战》书籍代码库

The Big Brother V6.0 是一个武器化的 OSINT 平台，具备用户名枚举（473+ 个平台）、四维视觉情报、Sky Radar 追踪、加密货币钱包分析、SSL 情报、数字足迹重建、EXIF 提取、高级 dorking 以及网络侦察功能。

一个轻量级的网络爬虫框架。（Java爬虫框架）

:newspaper: 让 ChatGPT 为你总结 Hacker News

一个 Tumblr 与 Twitter 博客备份应用程序

最好的 PTT 库

Wscan 是一个专注于网络安全的网页安全扫描器，致力于让网络安全人人可用。

Krawl 是一个可定制、轻量级、云原生网页欺骗服务器与反爬虫工具，通过逼真且随机生成的诱饵数据和 AI 生成的 HTML 模板，建立具有常见漏洞的假网页应用程序。

用 Python 搜索 Google、Bing、Yahoo 和其他搜索引擎

“Craw4LLM: Efficient Web Crawling for LLM Pretraining”官方仓库

NetDiscovery 是一款基于 Vert.x、RxJava 2 等框架实现的通用网络爬虫框架/中间件。

将网页原封不动地连同图片、css、js 与链接直接本地存储到硬盘中。

Moodle-DL 可以从 Moodle 快速下载课程内容（例如讲座 pdf）

Jie 是一款专为网页应用程序精心打造的综合性安全性评估与渗透工具。其强大的功能套件包含漏洞扫描、信息收集与渗透攻击，是安全专业人员与渗透测试人员不可或缺的工具组。

适用于 Node.js 的可靠高阶网页爬虫与数据抓取框架。

用于 AI 的开源网页基础设施。支持网页抓取、爬虫、自动化、Markdown 清理与浏览器会话，为你的 Agent 做好准备。