web-scraping

一個具備隱匿功能的瀏覽器自動化框架

一個功能多樣的 Ruby 網路爬蟲庫，可以爬取網站、多個網域、特定連結或進行無限爬取。Spidr 的設計宗旨是快速且易於使用。

Uscrapper Vanta：透過此強大的開源工具深入探索網路。輕鬆高效地從表面網路與深層網路來源提取有價值的洞察。利用 Vanta 的進階功能增強您的資料探勘與分析能力。快速、可靠且易於使用，Uscrapper Vanta 是研究人員與分析師的最佳選擇。

自託管爬蟲引擎 — 可繞過任何 JS 挑戰與驗證碼：Cloudflare、Turnstile、reCAPTCHA、hCaptcha、GeeTest。作為 FlareSolverr 與 Byparr 的替代方案，可直接替換至您的 *arr 堆疊中。

Playwright 測試與自動化庫的未檢測（Undetected）NodeJS 版本。

使用 Google Sheets 進行基礎網頁爬蟲指南

透過 SERP API 取得 Google 搜尋結果的 Python 套件

將任何網頁應用程式轉換為 API。透過 Chrome 擴充功能擷取瀏覽器流量、自動產生 Schema，並讓 AI 直接重新執行 API。無需官方 API。

ChatGPT Team(Business) 促銷碼自動掃描工具 — 批量發現/驗證/價格收集，支援 17 國 34 個碼，最高折扣 71% | ChatGPT Business promo code scanner — batch discovery, validation, price collection, 34 codes across 17 countries, up to 71% off

透過視覺化堆疊區塊來建立複雜的瀏覽器工作流程，並透過 API 執行

🤖 具備視覺化工作流程建構器的 AI 網頁爬蟲編輯器。透過自然語言建構、測試與部署網頁爬蟲。由 ScrapeGraphAI 與 LangGraph 驅動。

100% 免費且完全開源的 Firecrawl 替代方案，具備更佳的 agent 連結擷取功能，可自行部署至 cloudflare 或 vercel。

透過遠端雲端工作階段執行複雜的自動化指令碼，具備整合式住宅代理、自動驗證碼解決機制，以及針對最棘手動態網站的原生 JavaScript 算繪功能。

資料科學專案的完整生命週期

一款適用於央視網的網路影片串流解析處理工具

一個基於 Playwright 的 Node.js 工具，可繞過搜尋引擎的反抓取機制來執行 Google 搜尋。整合 MCP 伺服器的 SERP API 本地替代方案。

一個通用的 PHP 網頁工具。

可模擬網頁瀏覽器 TLS/HTTP2 指紋的 HTTP 客戶端。

跨社群媒體獲取使用者資料

Automate scraping hotel data including pricing, availability, ratings, and booking providers with a Google Hotels API integration.

Python 中隱蔽的網頁爬蟲與無縫 HTML 解析工具！

用於 AI 的開源網頁基礎設施。支援網頁抓取、爬蟲、自動化、Markdown 清理與瀏覽器工作階段，為你的 Agent 做好準備。

透過 Basketball Reference 取得 NBA 統計數據的 API

專為 AI 代理設計的快速、無狀態網頁搜尋與抓取 CLI

基於 Jekyll 的 The Programming Historian 靜態網站。

嗶哩嗶哩 (bilibili) 評論區資料視覺化分析軟體，協助 UP 主指導選題並釐清粉絲群體。

A skill for AI agents: search the web with SearXNG, browse with Camofox, bypass protections with CloakBrowser. Anti-hallucination by design. Self-hosted, free, unlimited.

Python 快速入門指南，協助您充分利用 Oxylabs Web Scraper API 免費試用版。

用於建立半自動網頁內容擷取器的框架