scrapy

分散式網路爬蟲管理平台，支援任意語言與框架的蜘蛛管理

基於搜狗微信搜索的公眾號爬蟲介面

实战🐍多种网站、电商数据爬虫🕷。包含🕸：淘宝商品、微信公众号、大众点评、企查查、招聘网站、闲鱼、阿里任务、博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣影评、携程、小米应用商店、安居客、途家民宿❤️❤️❤️。微信爬虫展示项目:

基於 Redis 的 Scrapy 組件

持续维护的新浪微博采集工具🚀🚀🚀

🚀🚀🚀feapder 是一款易於使用、功能強大的爬蟲框架 | feapder 是一款上手簡單、功能強大的 Python 爬蟲框架。內置 AirSpider、Spider、TaskSpider、BatchSpider 四種爬蟲，解決不同場景需求。支援斷點續爬、監控告警、瀏覽器渲染、海量資料去重等功能。更有功能強大的爬蟲管理系統 feaplat 為其提供方便的部署及排程

基於 Scrapy、Scrapyd、Django 和 Vue.js 的分佈式爬蟲管理框架

Scrapyd 集群管理 Web 應用，Scrapy 日誌分析與可視化，自動打包，定時任務，監控與警報，以及行動 UI。Docs 文档 :point_right:

Scrapy+Splash 用於 JavaScript 整合

從 Google、Bing、Baidu 下載圖片。谷歌、百度、必应图片下载。

網路爬蟲開源專案儲存庫，旨在分享使用 Python 進行網路爬蟲的知識與經驗

advertools - 線上行銷生產力與分析工具

適用於 Scrapy 的 🎭 Playwright 整合套件

全球單一最大網際網路網域資料集

Python 爬蟲

在 Python 3 上提供更快的 requests 效能

抖音、快手、火山、皮皮蝦，影片去除浮水印程式

使用簡潔、AI 輔助的 DSL 在 Ruby 中編寫網路爬蟲。Kimurai 利用 AI 來找出資料所在位置，然後快取選取器並使用純 Ruby 進行爬取。獲得 LLM 的智慧，而無需付出每次請求的延遲或 Token 成本。

用於處理使用 Selenium 之 JavaScript 網頁的 Scrapy 中介軟體

一個多執行緒爬蟲框架，內建多種圖片爬蟲。

Scrapy 爬蟲的 HTTP API

高效能非同步抖音、TikTok、小紅書、快手、微博、Instagram、YouTube、Twitter(X)、驗證碼解決器、臨時信箱 API。

閒魚爬蟲，基於閒魚網頁端開發，使用 FastAPI 構建的閒魚商品搜尋介面，支援非同步併發請求與自動化資料去重儲存。現已支援登入。

一組用於從在網際網路上發布其位置的來源中擷取位置資訊的網頁爬蟲與擷取器。

簡單但實用的 Python 網頁爬蟲教學程式碼。

在 Scrapy 中使用多重代理伺服器

開源企業級輿情新聞爬蟲專案：支援任意數量爬蟲一鍵執行、爬蟲定時任務、爬蟲批次刪除；爬蟲一鍵部署；爬蟲監控視覺化；配置叢集爬蟲分配策略；現成的 Docker 一鍵部署文件已為大家踩坑。一個企業級的輿情新聞爬蟲專案：支援任意數量爬蟲一鍵執行、爬蟲定時任務、爬蟲批次刪除、爬蟲一鍵部署。

spider-admin-pro 一款集爬蟲 Scrapy+Scrapyd 項目查看與爬蟲任務定時調度的視覺化管理工具，SpiderAdmin 的升級版。

一個通用的 PHP 網頁工具。

用於建立半自動網頁內容擷取器的框架