spider

网页爬虫框架

CrawlerDetect 是一个通过 user agent 来检测机器人、爬虫与蜘蛛的 PHP 类

从 Google、Bing、Baidu 下载图片。谷歌、百度、必应图片下载。

为速度与灵活性而构建的跨平台 C# 网络爬虫框架。请帮这个项目点个 star！+1。

蓝天采集器是一款开源免费的爬虫系统，仅需点选编辑规则即可采集数据，可运行在本地、虚拟主机或云服务器中，几乎能采集所有类型的网页，无缝对接各类CMS建站程序，免登录实时发布数据，全自动无需人工干预！是网页大数据采集软件中完全跨平台的云端爬虫系统

基于 asyncio 的网络爬虫框架。

磁力网站U3C3介绍以及域名更新

灵活的 Node.js AI 辅助爬虫库

QQ空间导出助手，用于备份QQ空间的说说、日志、私密日记、相册、视频、留言板、QQ好友、收藏夹、分享、最近访客为文件，便于迁移与保存

基于 Python 的网页应用程序扫描器，用于收集 OSINT 并对目标网站进行 OWASP 漏洞模糊测试。

Python 爬虫，目前库存：网易云音乐歌曲爬取、B站视频爬取、知乎问答爬取、壁纸爬取、xvideos 视频爬取、有声书爬取、微博爬虫、安居客信息爬取+数据可视化、哔哩哔哩视频封面提取器、ip 代理池封装、知乎百万级用户爬虫+数据分析、GitHub 用户爬虫

档案管理员的网页爬虫：WARC 输出、所有爬虫的仪表板、动态忽略模式

抖音爬虫——采集账号主页、喜欢、收藏、音乐原声、话题、搜索、合集、作品、关注、粉丝等公开数据。

浏览过的精彩逆向文章汇总，值得一看

📰 让所有人都能访问的巴西官方公报。

K 哥爬虫代码分享，JS 逆向，爬虫进阶。关注公众号：K哥爬虫

Boss直聘爬虫 / BOSS直聘职位数据抓取工具，基于 Chrome CDP 协议复用真实登录态，绕过字体反爬，输出明文薪资 JSON/CSV + 薪资技能分析。A Chrome-CDP-based BOSS Zhipin job scraper/crawler.

顶级的跨站请求伪造（CSRF）审计与利用工具包。

一个用于从网络抓取电子书的下载工具。

Beanbun 是用 PHP 编写的多进程网络爬虫框架，具有良好的开放性、高可扩展性，基于 Workerman。

llms 大模型 笔记50篇 此仓库包含关于机器学习、深度学习、计算机视觉、自然语言处理、大模型 爬虫等领域 项目实战

Crawly，一个适用于 Elixir 的高级网络爬虫与数据抓取框架。

:alien: OneBlog，一个简洁美观、功能强大并且自适应的 Java 博客

爬取微信公众号文章

适用于 40 多个热门域名的可扩展 Python 网络爬虫脚本

JS 破解逆向，破解 JS 反爬虫加密参数，已破解极验滑块 w（2022.2.19），QQ 音乐 sign（2022.2.13），拼多多 anti_content，boss 直聘 zp_token，知乎 x-zse-96，酷狗 kg_mid/dfid，唯品会 mars_cid，中国裁判文书网（2020-06-30更新），淘宝密码，天安保险登录，B站登录，房天下登录，WPS登录，微博登录，有道翻译，网易登录，微信公众号登录，空中网登录，今目标登录，学生信息管理系统登录，共赢金融登录，重庆科技资源共享平台登录，网易云音乐下载，一键解析视频链接，财联社登录。

Golang短视频去水印：抖音、皮皮虾、火山、微视、最右、快手、全民小视频、皮皮搞笑、西瓜视频、虎牙、梨视频、acfun、好看视频...

小说下载、小说爬虫、起点、笔趣阁、导出 Markdown、导出 txt、转换 epub、广告过滤、自动校对

具备易用网页控制台的可配置网络爬虫

SpiderSuite（网页安全爬虫）版本发布、wiki 与路线图