crawler

瀏覽過的精彩逆向文章彙總，值得一看

🤖 僅需提供範例即可從 HTML 網站自動擷取資料

K 哥爬蟲程式碼分享，JS 逆向，爬蟲進階。關注公眾號：K哥爬蟲

輕量級 Ruby 網路爬蟲/擷取工具，具有優雅的 DSL，可從頁面中萃取結構化資料。

頂尖的跨站請求偽造（CSRF）審計與利用工具包。

📝 快速爬取 Instagram 個人檔案資訊（例如：粉絲、標籤等...）。

用 Go 語言編寫的最快 Dork 掃描器。

Boss直聘爬蟲 / BOSS直聘職位資料抓取工具，基於 Chrome CDP 協議復用真實登入態，繞過字體反爬，輸出明文薪資 JSON/CSV + 薪資技能分析。A Chrome-CDP-based BOSS Zhipin job scraper/crawler.

Beanbun 是用 PHP 編寫的多行程網路爬蟲框架，具有良好的開放性、高可擴充性，基於 Workerman。

一個好用的嗶哩嗶哩漫畫下載器，擁有圖形介面，支援關鍵字搜尋漫畫和二維碼登入，黑科技下載未解鎖章節，多執行緒下載，多種儲存格式，本地漫畫管理，一鍵檢查更新！

基於 appium 的 App 自動遍歷工具

輕鬆下載 tumblr 部落格的所有相片/影片。下載指定的 Tumblr 博客中的圖片，視頻

📰 Newspaper4k，備受喜愛的 Newspaper3k 的分支。從新聞網站擷取文章、標題與中繼資料。

基於 OpenSearch 建構的開源、自架企業與網站搜尋伺服器。支援網頁/檔案/資料庫/雲端來源爬取、20 種以上語言、REST API 以及 AI/RAG 與語意搜尋。採用 Apache-2.0 授權。

在單一 Docker 容器中執行高傳真基於瀏覽器的網頁歸檔爬蟲

Crawly，一個適用於 Elixir 的高階網路爬蟲與資料擷取框架。

使用簡潔、AI 輔助的 DSL 在 Ruby 中編寫網路爬蟲。Kimurai 利用 AI 來找出資料所在位置，然後快取選取器並使用純 Ruby 進行爬取。獲得 LLM 的智慧，而無需付出每次請求的延遲或 Token 成本。

適用於 40 多個熱門域名的可擴充 Python 網路爬蟲腳本

Golang短影片去水印：抖音、皮皮蝦、火山、微視、最右、快手、全民小影片、皮皮搞笑、西瓜影片、虎牙、梨影片、acfun、好看影片...

小說下載、小說爬蟲、起點、筆趣閣、匯出 Markdown、匯出 txt、轉換 epub、廣告過濾、自動校對

一個符合人體工學且注重隱私的 Rust HTTP Client

受 <facundoolano/google-play-scraper> 啟發的 Python Google Play 爬蟲

一個 pixiv.net 的工具。人人可用的 P 站爬蟲

基於 Apache Storm 的可擴展、成熟且多功能的網頁爬蟲

SpiderSuite（網頁安全爬蟲）版本釋出、wiki 與發展藍圖

基於 Elixir 的高效能網路爬蟲 / 擷取器。

用 Rust 寫的快速、輕量級 Firecrawl/Tavily 替代方案。具備 MCP 伺服器的網頁爬蟲、抓取與搜尋 API，專為 AI agent 設計。相容 Firecrawl API（/scrape、/crawl、/search）。在 1K-URL 效能測試中，比 Tavily 快 2.3 倍、比 Firecrawl 快 1.5 倍。僅需 6 MB RAM、單一執行檔。可自架或使用託管雲端。

適用於 X.com 的純 Python 協定工具與研究筆記，包含 VibeLoft Twitter 帳號資料集

一個多執行緒爬蟲框架，內建多種圖片爬蟲。

ChatWeb 可以爬取網頁、閱讀 PDF、DOCX、TXT 並萃取主要內容，然後根據內容回答你的問題，或總結重點。