crawler

外洩的 GPTs 提示詞，可繞過 25 則訊息限制，或在沒有 Plus 訂閱的情況下試用 GPTs。

網頁爬蟲框架

CrawlerDetect 是一個透過 user agent 來偵測機器人、爬蟲與蜘蛛的 PHP 類別

為速度與靈活性而建構的跨平台 C# 網路爬蟲框架。請幫這個專案點個 star！+1。

網站複製工具 - 利用強大的 Go routines 在幾秒鐘內將網站複製到您的電腦。

🏳️‍🌈 支援來自任何網站的媒體下載器，包含 Twitter、Reddit、Instagram、BlueSky、TikTok、Threads、Facebook、OnlyFans、YouTube、Pinterest、PornHub、XHamster、XVIDEOS、ThisVid 等。

將網頁內容轉換為適合 LLM 使用的資料

藍天採集器是一款開源免費的爬蟲系統，僅需點選編輯規則即可採集資料，可執行在本地、虛擬主機或雲端伺服器中，幾乎能採集所有類型的網頁，無縫對接各類 CMS 建站程式，免登入即時發布資料，全自動無需人工干預！是網頁大資料採集軟體中完全跨平台的雲端爬蟲系統

基於 asyncio 的網路爬蟲框架。

爬蟲案例合集。包括但不限於《淘寶、京東、天貓、豆瓣、抖音、快手、微博、微信、阿里、頭條、pdd、優酷、愛奇藝、攜程、12306、58、搜狐、各種指數、維普萬方、Zlibraty、Oalib、小說、招標網、採購網、小紅書、大眾點評、推特、脈脈、知乎》

適用於 Playwright 的免費防檢測隱身瀏覽器：未被偵測的無頭 Firefox 指紋。Python 爬蟲、recaptcha 與機器人檢測繞過。開源

NewPipe 的核心函式庫，用於從串流網站擷取資料

瀏覽器記憶體漫遊解決方案（探索中...）

磁力網站U3C3介紹以及域名更新

靈活的 Node.js AI 輔助爬蟲函式庫

多平台內容監控·採集·搬運，一個 Web 面板管起抖音 / 小紅書 / 快手

Diskover Community Edition - 基於 Elasticsearch 的開源檔案索引器、檔案搜尋引擎與資料管理與分析工具

Google、Naver 多行程圖片網路爬蟲 (Selenium)

Modest 與 Lexbor 引擎的 Python 綁定。適用於 Python、支援 CSS 選擇器的快速 HTML5 解析器。

Python 爬蟲，目前庫存：網易雲音樂歌曲爬取、B站影片爬取、知乎問答爬取、桌布爬取、xvideos 影片爬取、有聲書爬取、微博爬蟲、安居客資訊爬取+資料視覺化、嗶哩嗶哩影片封面提取器、ip 代理池封裝、知乎百萬級用戶爬蟲+資料分析、GitHub 用戶爬蟲

檔案管理員的網頁爬蟲：WARC 輸出、所有爬蟲的儀表板、動態忽略模式

抖音爬蟲——採集帳號主頁、喜歡、收藏、音樂原聲、話題、搜尋、合集、作品、關注、粉絲等公開資料。

ScopeSenter 網路空間對應、子網域列舉、通訊埠掃描、敏感資訊發現、漏洞掃描、分散式節點

用於在單一 HTML 檔案中儲存完整網頁真實副本的 CLI 工具（基於 SingleFile）

❤️ Fredy - 輕鬆尋找房地產 - Fredy 持續在 ImmoScout24、Immowelt、eBay Kleinanzeigen 等德國平台上搜尋新公寓與房屋，並透過 Slack、Telegram、Email、Discord 或 ntfy 即時將結果傳送給您，讓您專注於生活中更重要的事 ;)

Elasticsearch 檔案系統爬蟲 (FS Crawler)

一個符合人體工學且注重隱私的 Python HTTP 用戶端

小紅書數據採集、網站圖片、影片資源批次下載工具，高顏值數據採集工具（批次下載、影片提取、圖片）Telegram:https://t.me/+ZtLSwuIKTo44MDY1

用於 Puppeteer 與 Playwright 的修補程式集合，可避免自動化偵測與洩漏。有助於規避 Cloudflare 與 DataDome CAPTCHA 頁面。易於修補與解除修補，可依需求啟用或停用。

一個網頁隱私測量框架