spider

視覺化無程式碼/免程式碼網頁爬蟲/抓取工具，易采集：一款可視化瀏覽器自動化測試/資料收集/網頁爬蟲軟體，可無程式碼圖形化設計與執行爬蟲任務。別名：ServiceWrapper，面向 Web 應用的智慧服務封裝系統。

Elegant Scraper and Crawler Framework for Golang

Python ProxyPool 用於網路爬蟲

🚀「Douyin_TikTok_Download_API」是一個開箱即用的高效能非同步抖音、快手、TikTok、Bilibili 資料爬取工具，支援 API 呼叫、線上批量解析與下載。

一些非常有趣的 python 爬蟲範例，對新手友好，主要爬取淘寶、天貓、微信、微信讀書、豆瓣、QQ 等網站。

為 OSINT 設計的極速爬蟲

分散式網路爬蟲管理平台，支援任意語言與框架的蜘蛛管理

可循環值守與多人錄製的直播錄製軟體，支援抖音、TikTok、Youtube、快手、虎牙、斗魚、B站、小紅書、pandatv、sooplive、flextv、popkontv、twitcasting、winktv、百度、微博、酷狗、17Live、Twitch、Acfun、CHZZK、shopee 等 40+ 平台直播錄製

AV 電影管理系統，avmoo、javbus、javlibrary 爬蟲，線上 AV 影片圖書館，AV 磁力連結資料庫，Japanese Adult Video Library, Adult Video Magnet Links - Japanese Adult Video Database

INFO-SPIDER 是一個集眾多資料源於一身的爬蟲工具箱🧰，旨在安全快捷地協助使用者取回自己的資料，工具程式碼開源，流程透明。支援的資料源包括 GitHub、QQ 郵箱、網易郵箱、阿里郵箱、新浪郵箱、Hotmail 郵箱、Outlook 郵箱、京東、淘寶、支付寶、中國移動、中國聯通、中國電信、知乎、哔哩哔哩、網易雲音樂、QQ 好友、QQ群、生成朋友圈相冊、瀏覽器瀏覽歷史、12306、博客園、CSDN 部落格、開源中國部落格、簡書。

Web 抓取與資料處理的函式庫、工具與 API 列表

Pholcus 是用純 Golang 編寫的分散式高併發爬蟲軟體。

各種語言的優秀網路爬蟲與蜘蛛集合

NodeJS 的網頁爬蟲/蜘蛛，搭配伺服器端 jQuery ;-)

一鍵同步文章至多平台，支援今日頭條、WordPress、知乎、簡書、掘金、CSDN、typecho 等，多平台同步發布，提升個人生產力

暗網 OSINT 工具

novel-plus 是一個多端（PC、WAP）閱讀、功能完善的小說 CMS 系統，包含小說推薦、檢索、排行、閱讀、書架、評論、爬蟲、會員中心、作家區、充值訂閱、新聞發布等功能

🚀🚀🚀feapder 是一款易於使用、功能強大的爬蟲框架 | feapder 是一款上手簡單、功能強大的 Python 爬蟲框架。內置 AirSpider、Spider、TaskSpider、BatchSpider 四種爬蟲，解決不同場景需求。支援斷點續爬、監控告警、瀏覽器渲染、海量資料去重等功能。更有功能強大的爬蟲管理系統 feaplat 為其提供方便的部署及排程

每個網站都提供 API。

基於 Scrapy、Scrapyd、Django 和 Vue.js 的分佈式爬蟲管理框架

微信公众号文章的爬虫

Scrapyd 集群管理 Web 應用，Scrapy 日誌分析與可視化，自動打包，定時任務，監控與警報，以及行動 UI。Docs 文档 :point_right:

Gospider - 用 Go 語言編寫的快速網路蜘蛛

短影音去浮水印：抖音,皮皮蝦,火山,微視,微博,綠洲,最右,輕視頻,快手,全民小視頻,巴塞電影,陌陌,Before避風,開眼,Vue Vlog 小咖秀,皮皮搞笑,全民K歌,西瓜視頻,逗拍,虎牙,6間房,梨視頻,新片場,acfun,美拍...

owllook - 小說搜尋引擎

DecryptLogin：使用請求登入某些網站的 API

Geziyor，適用於 Go 的極速網頁爬蟲與數據抓取框架。支援 JS 渲染。

Go 語言實例教學從入門到進階，包括基礎庫使用、設計模式、面試易錯點、工具類、對接第三方等

優雅的漸進式 PHP 爬蟲框架。

為 AI 代理和大型語言模型（LLM）獲取網頁資料