crawl

INFO-SPIDER 是一个集众多数据源于一身的爬虫工具箱🧰，旨在安全快捷地帮助用户拿回自己的数据，工具代码开源，流程透明。支持的数据源包括 GitHub、QQ 邮箱、网易邮箱、阿里邮箱、新浪邮箱、Hotmail 邮箱、Outlook 邮箱、京东、淘宝、支付宝、中国移动、中国联通、中国电信、知乎、哔哩哔哩、网易云音乐、QQ 好友、QQ群、生成朋友圈相册、浏览器浏览历史、12306、博客园、CSDN 博客、开源中国博客、简书。

novel-plus 是一个多端（PC、WAP）阅读、功能完善的小说 CMS 系统，包含小说推荐、检索、排行、阅读、书架、评论、爬虫、会员中心、作家区、充值订阅、新闻发布等功能

AnyCrawl 🚀：一个 Node.js/TypeScript 爬虫，将网站转换为 LLM 可用数据，并从 Google/Bing/Baidu 等提取结构化 SERP 结果。原生多线程支持批量处理。

基于小红书 Web 端进行的请求封装。https://reajason.github.io/xhs/

灵活的 Node.js AI 辅助爬虫库

档案管理员的网页爬虫：WARC 输出、所有爬虫的仪表板、动态忽略模式

浏览过的精彩逆向文章汇总，值得一看

Tavily Python SDK 允许与 Tavily API 进行轻松互动，直接从您的 Python 程序中提供我们的完整搜索、提取、爬取、映射与研究功能。轻松将智能搜索、内容提取与研究功能整合到您的应用程序中，善用 Tavily 的强大功能。

JS 破解逆向，破解 JS 反爬虫加密参数，已破解极验滑块 w（2022.2.19），QQ 音乐 sign（2022.2.13），拼多多 anti_content，boss 直聘 zp_token，知乎 x-zse-96，酷狗 kg_mid/dfid，唯品会 mars_cid，中国裁判文书网（2020-06-30更新），淘宝密码，天安保险登录，B站登录，房天下登录，WPS登录，微博登录，有道翻译，网易登录，微信公众号登录，空中网登录，今目标登录，学生信息管理系统登录，共赢金融登录，重庆科技资源共享平台登录，网易云音乐下载，一键解析视频链接，财联社登录。

HTML 转 Markdown 转换器与爬虫。