scrapy

分布式爬虫管理平台，支持任何语言和框架的蜘蛛管理

基于搜狗微信搜索的公众号爬虫接口

实战🐍多种网站、电商数据爬虫🕷。包含🕸：淘宝商品、微信公众号、大众点评、企查查、招聘网站、闲鱼、阿里任务、博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣影评、携程、小米应用商店、安居客、途家民宿❤️❤️❤️。微信爬虫展示项目:

基于 Redis 的 Scrapy 组件

持续维护的新浪微博采集工具🚀🚀🚀

🚀🚀🚀feapder 是一款易于使用、功能强大的爬虫框架 | feapder 是一款上手简单、功能强大的 Python 爬虫框架。内置 AirSpider、Spider、TaskSpider、BatchSpider 四种爬虫，解决不同场景需求。支持断点续爬、监控告警、浏览器渲染、海量数据去重等功能。更有功能强大的爬虫管理系统 feaplat 为其提供方便的部署及排程

基于 Scrapy、Scrapyd、Django 和 Vue.js 的分布式爬虫管理框架

Scrapyd 集群管理 Web 应用，Scrapy 日志分析与可视化，自动打包，定时任务，监控与警报，以及移动 UI。Docs 文档 :point_right:

Scrapy+Splash 用于 JavaScript 整合

从 Google、Bing、Baidu 下载图片。谷歌、百度、必应图片下载。

网络爬虫开源项目仓库，旨在分享使用 Python 进行网络爬虫的知识与经验

advertools - 线上营销生产力与分析工具

适用于 Scrapy 的 🎭 Playwright 集成套件

全球单一最大互联网域数据集

Python 爬虫

在 Python 3 上提供更快的 requests 性能

抖音、快手、火山、皮皮虾，视频去水印程序

使用简洁、AI 辅助的 DSL 在 Ruby 中编写网络爬虫。Kimurai 利用 AI 来找出数据所在位置，然后缓存选择器并使用纯 Ruby 进行爬取。获得 LLM 的智慧，而无需付出每次请求的延迟或 Token 成本。

用于处理使用 Selenium 之 JavaScript 页面的 Scrapy 中间件

一个多线程爬虫框架，内置多种图片爬虫。

Scrapy 爬虫的 HTTP API

高性能异步抖音、TikTok、小红书、快手、微博、Instagram、YouTube、Twitter(X)、验证码解决器、临时邮箱 API。

闲鱼爬虫，基于闲鱼网页端开发，使用 FastAPI 构建的闲鱼商品搜索接口，支持异步并发请求和自动化数据去重存储。现已支持登录。

一组用于从在互联网上发布其位置的来源中提取位置信息的网页爬虫与提取器。

简单但实用的 Python 网页爬虫教程代码。

在 Scrapy 中使用多重代理服务器

开源企业级舆情新闻爬虫项目：支持任意数量爬虫一键运行、爬虫定时任务、爬虫批量删除；爬虫一键部署；爬虫监控可视化；配置集群爬虫分配策略；现成的 Docker 一键部署文档已为大家踩坑。一个企业级的舆情新闻爬虫项目：支持任意数量爬虫一键运行、爬虫定时任务、爬虫批量删除、爬虫一键部署。

spider-admin-pro 一款集爬虫 Scrapy+Scrapyd 项目查看与爬虫任务定时调度的可视化管理工具，SpiderAdmin 的升级版。

一个通用的 PHP 网页工具。

用于创建半自动网页内容提取器的框架