crawler

爬蟲逆向案例，已完成：TLS 指紋｜瑞數｜震坤行｜網易易盾｜微信小程式反編譯逆向（百達星系）｜同花順｜rpc 解密｜加速樂｜極驗滑塊驗證碼｜巨量算數｜Boss 直聘｜企查查｜中國五礦｜QQ 音樂｜產業政策大數據平台｜企知道｜雪球網 (acw_sc__v2)｜1688｜七麥數據｜whggzy｜企名科技｜mohurd｜藝恩數據｜歐科雲鏈

SiteOne Crawler 是一個跨平臺的網站爬蟲與分析工具，適用於 SEO、安全性、無障礙性與效能最佳化——非常適合開發人員、DevOps、QA 工程師與顧問。支援 Windows、macos 與 Linux (x64 和 arm64)。

Scrapy 爬蟲的 HTTP API

高效能非同步抖音、TikTok、小紅書、快手、微博、Instagram、YouTube、Twitter(X)、驗證碼解決器、臨時信箱 API。

一個基於 Kotlin 的測試/擷取/解析庫，能夠從 HTML（伺服器端與客戶端渲染）中分析並提取資料。它透過提供直觀的 DSL，特別強調易用性與高度可讀性。旨在成為一個測試庫，同時也能以便利的方式用於網頁爬蟲。

ArrowDL (Arrow Downloader) 是一個適用於 Windows、MacOS 與 Linux 的下載管理器

一個功能多樣的 Ruby 網路爬蟲庫，可以爬取網站、多個網域、特定連結或進行無限爬取。Spidr 的設計宗旨是快速且易於使用。

ai reverse 一把梭

簡單但實用的 Python 網頁爬蟲教學程式碼。

適用於 Chrome 與 Firefox 的 Java API

同人誌下載器 紳士漫畫下載

js cookie 逆向利器：js cookie 變動監控視覺化工具與 js cookie hook 條件斷點工具

開源的 SEO 審計工具。

🕵️‍♂️ 爬取 LinkedIn 個人檔案並以 JSON 格式回傳結構化資料。

《爬蟲逆向進階實戰》書籍程式碼庫

一個輕量級的網路爬蟲框架。（Java爬蟲框架）

The Big Brother V6.0 是一個武器化的 OSINT 平台，具備使用者名稱列舉（473+ 個平台）、四維視覺情資、Sky Radar 追蹤、加密貨幣錢包分析、SSL 情資、數位足跡重建、EXIF 擷取、進階 dorking 以及網路偵察功能。

:newspaper: 讓 ChatGPT 為你總結 Hacker News

一個 Tumblr 與 Twitter 部落格備份應用程式

最好的 PTT 程式庫

Wscan 是一個專注於網路安全的網頁安全掃描器，致力於讓網路安全人人可用。

用 Python 搜尋 Google、Bing、Yahoo 與其他搜尋引擎

「Craw4LLM: Efficient Web Crawling for LLM Pretraining」官方儲存庫

Krawl 是一個可自訂、輕量級、雲原生網頁欺騙伺服器與反爬蟲工具，透過逼真且隨機產生的誘餌資料和 AI 生成的 HTML 模板，建立具有常見漏洞的假網頁應用程式。

NetDiscovery 是一款基於 Vert.x、RxJava 2 等框架實現的通用網路爬蟲框架/中間件。

將網頁原封不動地連同圖片、css、js 與連結直接本機儲存到硬碟中。

Moodle-DL 可以從 Moodle 快速下載課程內容（例如講座 pdf）

Jie 是一款專為網頁應用程式精心打造的綜合性安全性評估與滲透工具。其強大的功能套件包含漏洞掃描、資訊收集與滲透攻擊，是安全專業人員與滲透測試人員不可或缺的工具組。

適用於 Node.js 的可靠高階網頁爬蟲與資料擷取框架。

用於 AI 的開源網頁基礎設施。支援網頁抓取、爬蟲、自動化、Markdown 清理與瀏覽器工作階段，為你的 Agent 做好準備。