spider

视觉化无代码/免代码网页爬虫/抓取工具，易采集：一款可视化浏览器自动化测试/数据采集/网页爬虫软件，可无代码图形化设计与执行爬虫任务。别名：ServiceWrapper，面向 Web 应用的智能服务封装系统。

Elegant Scraper and Crawler Framework for Golang

Python ProxyPool 用于网络爬虫

🚀「Douyin_TikTok_Download_API」是一个开箱即用的高性能异步抖音、快手、TikTok、Bilibili数据爬取工具，支持 API 调用，在线批量解析及下载。

一些非常有趣的 python 爬虫例子，对新手友好，主要爬取淘宝、天猫、微信、微信读书、豆瓣、QQ 等网站。

为 OSINT 设计的极快爬虫

分布式爬虫管理平台，支持任何语言和框架的蜘蛛管理

可循环值守和多人录制的直播录制软件，支持抖音、TikTok、Youtube、快手、虎牙、斗鱼、B站、小红书、pandatv、sooplive、flextv、popkontv、twitcasting、winktv、百度、微博、酷狗、17Live、Twitch、Acfun、CHZZK、shopee等40+平台直播录制

AV 电影管理系统，avmoo、javbus、javlibrary 爬虫，线上 AV 影片图书馆，AV 磁力链接数据库，Japanese Adult Video Library, Adult Video Magnet Links - Japanese Adult Video Database

INFO-SPIDER 是一个集众多数据源于一身的爬虫工具箱🧰，旨在安全快捷地帮助用户拿回自己的数据，工具代码开源，流程透明。支持的数据源包括 GitHub、QQ 邮箱、网易邮箱、阿里邮箱、新浪邮箱、Hotmail 邮箱、Outlook 邮箱、京东、淘宝、支付宝、中国移动、中国联通、中国电信、知乎、哔哩哔哩、网易云音乐、QQ 好友、QQ群、生成朋友圈相册、浏览器浏览历史、12306、博客园、CSDN 博客、开源中国博客、简书。

Web 抓取与数据处理的库、工具和 API 列表

Pholcus 是用纯 Golang 编写的分布式高并发爬虫软件。

各种语言的优秀网络爬虫与蜘蛛集合

NodeJS 的网页爬虫/蜘蛛，搭配服务器端 jQuery ;-)

一键同步文章到多个平台，支持今日头条、WordPress、知乎、简书、掘金、CSDN、typecho 等，多平台同步发布，解放个人生产力

暗网 OSINT 工具

novel-plus 是一个多端（PC、WAP）阅读、功能完善的小说 CMS 系统，包含小说推荐、检索、排行、阅读、书架、评论、爬虫、会员中心、作家区、充值订阅、新闻发布等功能

🚀🚀🚀feapder 是一款易于使用、功能强大的爬虫框架 | feapder 是一款上手简单、功能强大的 Python 爬虫框架。内置 AirSpider、Spider、TaskSpider、BatchSpider 四种爬虫，解决不同场景需求。支持断点续爬、监控告警、浏览器渲染、海量数据去重等功能。更有功能强大的爬虫管理系统 feaplat 为其提供方便的部署及排程

每个网站都提供 API。

基于 Scrapy、Scrapyd、Django 和 Vue.js 的分布式爬虫管理框架

微信公众号文章的爬虫

Scrapyd 集群管理 Web 应用，Scrapy 日志分析与可视化，自动打包，定时任务，监控与警报，以及移动 UI。Docs 文档 :point_right:

Gospider - 用 Go 语言编写的快速网络蜘蛛

短视频去水印：抖音,皮皮虾,火山,微视,微博,绿洲,最右,轻视频,快手,全民小视频,巴塞电影,陌陌,Before避风,开眼,Vue Vlog 小咖秀,皮皮搞笑,全民K歌,西瓜视频,逗拍,虎牙,6间房,梨视频,新片场,acfun,美拍...

owllook - 小说搜索引擎

DecryptLogin：使用请求登录某些网站的 API

Geziyor，适用于 Go 的极速网页爬虫与数据抓取框架。支持 JS 渲染。

Go 语言实例教程从入门到进阶，包括基础库使用、设计模式、面试易错点、工具类、对接第三方等

优雅的渐进式 PHP 爬虫框架。

为 AI 代理和大型语言模型（LLM）获取网页数据