spider

基於 Elixir 的高效能網路爬蟲 / 擷取器。

一個多執行緒爬蟲框架，內建多種圖片爬蟲。

爬蟲逆向案例，已完成：TLS 指紋｜瑞數｜震坤行｜網易易盾｜微信小程式反編譯逆向（百達星系）｜同花順｜rpc 解密｜加速樂｜極驗滑塊驗證碼｜巨量算數｜Boss 直聘｜企查查｜中國五礦｜QQ 音樂｜產業政策大數據平台｜企知道｜雪球網 (acw_sc__v2)｜1688｜七麥數據｜whggzy｜企名科技｜mohurd｜藝恩數據｜歐科雲鏈

基於 Spring Boot 實現的 Java 股票爬蟲（僅支援 A 股），若喜歡請給予星星。V2 升級版開發中！

一個功能多樣的 Ruby 網路爬蟲庫，可以爬取網站、多個網域、特定連結或進行無限爬取。Spidr 的設計宗旨是快速且易於使用。

一組用於從在網際網路上發布其位置的來源中擷取位置資訊的網頁爬蟲與擷取器。

基於中國國家圖書館 ISBN 檢索的 calibre source/metadata 外掛程式。https://doiiars.com/article/NLCISBNPlugin

一個滲透測試框架、資訊蒐集工具與網站漏洞掃描器

🕵️‍♂️ 爬取 LinkedIn 個人檔案並以 JSON 格式回傳結構化資料。

一個輕量級的網路爬蟲框架。（Java爬蟲框架）

:newspaper: 讓 ChatGPT 為你總結 Hacker News

Signal 18 repman - 針對 MySQL / MariaDB / Percona Server 的複製管理器。

輕小說打包器，採集嗶哩輕小說網站(bilinovel.com linovelib.com)內容，打包成 EPUB 格式，支援封面、插圖、目錄，支援分卷合併。

Python 短影片去浮水印爬蟲：抖音、皮皮蝦、火山、微視、最右、快手、全民小影片、皮皮搞笑、西瓜影片、虎牙、梨影片、acfun、好看影片...

開源企業級輿情新聞爬蟲專案：支援任意數量爬蟲一鍵執行、爬蟲定時任務、爬蟲批次刪除；爬蟲一鍵部署；爬蟲監控視覺化；配置叢集爬蟲分配策略；現成的 Docker 一鍵部署文件已為大家踩坑。一個企業級的輿情新聞爬蟲專案：支援任意數量爬蟲一鍵執行、爬蟲定時任務、爬蟲批次刪除、爬蟲一鍵部署。

影視和貓影視爬蟲倉庫

Krawl 是一個可自訂、輕量級、雲原生網頁欺騙伺服器與反爬蟲工具，透過逼真且隨機產生的誘餌資料和 AI 生成的 HTML 模板，建立具有常見漏洞的假網頁應用程式。

逆向 app 參數的思路和體驗，安卓逆向

NetDiscovery 是一款基於 Vert.x、RxJava 2 等框架實現的通用網路爬蟲框架/中間件。

問卷調查專案、雲端主機推薦、掛機專案、免費代理、各類指令碼收集。歡迎點擊右上角小鈴鐺以即時接收更新資訊。（請勿 fork，低調）

spider-admin-pro 一款集爬蟲 Scrapy+Scrapyd 項目查看與爬蟲任務定時調度的視覺化管理工具，SpiderAdmin 的升級版。

用於從 LinkedIn API 轉儲/抓取/提取公司員工的 Python 3 指令碼

適用於 Node.js 的可靠高階網頁爬蟲與資料擷取框架。

FreeProxy：從網際網路收集免費代理伺服器。支援爬取數十個免費代理分享源、自訂規則篩選，是爬蟲與資料分析的必備工具，每日更新海量免費代理。

嗶哩嗶哩 (bilibili) 評論區資料視覺化分析軟體，協助 UP 主指導選題並釐清粉絲群體。