web-scraping

提供大規模搜尋、抓取與互動的 Context API。🔥

🕷️ 一個自適應的網路爬蟲框架，能處理單一請求到全規模爬取的所有需求！

Scrapy，一個快速的高階 Python 網頁爬蟲與抓取框架。

最佳且最簡單的網站變更偵測工具，支援網頁監控與變更提醒。適合追蹤內容變更、價格下降、補貨提醒與網站被竄改監測——免費或使用我們的 SaaS 計畫！

使用 AI 編碼代理，一條指令即可克隆任意網站

隱形 Chromium，通過所有機器人偵測測試。可直接替代 Playwright，提供源碼層級的指紋修補。30/30 測試通過。

用 Python 實作的開源 AI 求職申請機器人：自動瀏覽、抓取職缺資訊，並為每則職缺自動填寫履歷與求職信。

基於 AI 的 Python 抓取工具

Crawlee — 用於 Node.js 的網頁抓取與瀏覽器自動化函式庫，支援 JavaScript 與 TypeScript。可為 AI、LLM、RAG 或 GPT 抽取資料，下載 HTML、PDF、JPG、PNG 等檔案，兼容 Puppeteer、Playwright、Cheerio、JSDOM 與原始 HTTP，支援有頭與無頭模式，並提供代理輪換。

🚀「Douyin_TikTok_Download_API」是一個開箱即用的高效能非同步抖音、快手、TikTok、Bilibili 資料爬取工具，支援 API 呼叫、線上批量解析與下載。

🔥 開源無程式碼平台，用於網頁爬取、爬蟲、搜尋與 AI 資料抽取 • 只需數分鐘即可將網站轉換為結構化 API 🔥

開源 NotebookLM 替代方案。透過單一平台、API 或 MCP 伺服器，於開放網路上即時搜尋 Reddit、YT、IG、TikTok、Indeed、Google Search、Maps 等資料。加入我們的 Discord: https://discord.gg/ejRNvftDp9

將文件網站、GitHub 倉庫與 PDF 轉換為 Claude AI 技能，並自動偵測衝突

📊 用於網頁自動化、測試與繞過機器人偵測的 API

jsoup：用於 HTML 編輯、清理、抓取與 XSS 防護的 Java HTML 解析器

高效能瀏覽器自動化橋接與多實例協調器，具先進的隱蔽注入與即時儀表板。

Crawlee — 用於 Python 的網頁抓取與瀏覽器自動化函式庫，可建構可靠的爬蟲。支援 AI、LLM、RAG 或 GPT 的資料抽取，下載 HTML、PDF、JPG、PNG 等檔案，兼容 Parsel、BeautifulSoup、Playwright 與原始 HTTP，支援有頭與無頭模式，並具代理輪換功能。

為 AI 代理設計的隱形無頭瀏覽器 — 繞過 Cloudflare、機器人偵測與防抓取。即插即用的 Puppeteer/Playwright 替代方案。

使用 Python 實現的輕量級網頁自動化工具

Web 抓取與資料處理的函式庫、工具與 API 列表

一個智慧、全自動、快速且輕量的 Python 網頁爬蟲

此 GitHub 倉庫是 API 的強大集合，可立即使用，從簡單自動化到全規模應用皆可構建。GitHub 上最有價值的 API 清單——毫無疑問。💪

🔥 官方 Firecrawl MCP 伺服器 – 為 Cursor、Claude 及其他 LLM 客戶端新增強大的網頁抓取與搜尋功能

Chrome DevTools 协议驱动，用于网页自动化与抓取

Pydoll 是一個在不使用 WebDriver 的情況下自動化基於 Chromium 瀏覽器的函式庫，提供逼真的互動。

Python 與命令列工具，用於在網路上收集文字與中繼資料：爬蟲、擷取、抽取，輸出為 CSV、JSON、HTML、MD、TXT、XML

Python 绑定 curl-impersonate 分支 via cffi。可模仿瀏覽器 TLS/JA3/HTTP2 指紋的 HTTP 客戶端。

宣告式資料自動化語言與 Go 執行環境，用於結構化抽取工作流程。

從 Google Maps 擷取資料。提取名稱、地址、電話號碼、網站 URL、評分、評論數、緯度經度、評論、電子郵件等資訊

Browser automation CLI built for AI agents. Break through anti-bot walls, hand off to humans across platforms when stuck. Parallel multi-task execution, independent multi-session operation, isolated multi-account browsing.