scraping

一個完全翻新與重新設計的分支，基於原版 onlyfans-scraper 從頭重新構想

📰 Newspaper4k，備受喜愛的 Newspaper3k 的分支。從新聞網站擷取文章、標題與中繼資料。

能將網站轉化為 API 的 Agent！

Crawly，一個適用於 Elixir 的高階網路爬蟲與資料擷取框架。

自動從 Google 試算表（及其他來源）封存影片、圖片和社群媒體內容的連結

⛏️ Maigret 背後的擷取引擎：將任何個人檔案 URL 轉化為跨越 150 多個網站的結構化 OSINT 記錄

適用於 40 多個熱門域名的可擴充 Python 網路爬蟲腳本

🧹 用於文字清理的 Python 套件

🚀 適合人類使用的網頁爬蟲

透過發送帶有有效 ChatGPT 抓取 API 憑證的提示詞，從 ChatGPT 抓取工具收集結構化回應。只需幾個參數即可啟用即時搜尋、注入 HTML 內容，並自動化智慧抓取 ChatGPT 工作流程。

📄 將 Notion.so 頁面轉換為輕量、可自訂的靜態網站的 Python 工具

一個可自動為 PDF 檔案產生目錄的 CLI 工具集。

簡單但實用的 Python 網頁爬蟲教學程式碼。

自託管爬蟲引擎 — 可繞過任何 JS 挑戰與驗證碼：Cloudflare、Turnstile、reCAPTCHA、hCaptcha、GeeTest。作為 FlareSolverr 與 Byparr 的替代方案，可直接替換至您的 *arr 堆疊中。

🕵️‍♂️ 爬取 LinkedIn 個人檔案並以 JSON 格式回傳結構化資料。

Lookyloo 是一個網頁介面，允許使用者擷取網頁並顯示網域間的呼叫樹狀圖。

😈📚 專為反偵測與網頁隱私愛好者策展的研究論文與簡報庫。

透過 SERP API 取得 Google 搜尋結果的 Python 套件

具備自動 IP 管理與即時健康狀態監控的高效能代理伺服器輪替引擎

用於抓取房地產資料的 Python 套件

Comic-dl 是一個命令列工具，用於從各種漫畫網站下載漫畫。支援的網站：readcomiconline.to、mangafox.me、comic naver 等等。

:card_index: 使用正規表示式擷取社群媒體個人檔案及更多資訊

深入網頁爬蟲，並在單一影片中建立 Next.js 13 電商價格追蹤器，教您資料爬蟲、定期任務（cron jobs）、發送電子郵件、部署等功能。

多 Agent 團隊的沙盒化協作：一個以 Git 為基底的訊息論壇，每個 Agent 都在各自的一次性沙盒中隔離。無需共用憑證或主機存取權即可跨機器協調。

用於爬取美國法院網站中繼資料的 API。

Kemono pawchive Downloader 是一款快速的 PyQt5 應用程式，用於從 Kemono、Coomer、Bunkr、Erome、Saint2.su、nhentai 與 Discord 等多種網站封存內容。具備創作者瀏覽器、更新檢查器，並支援多執行緒與多部分下載。工作階段可暫停、恢復或復原。

在 AWS Lambda 中使用 Python 與 Selenium 進行 Chrome 自動化的最簡範例

此 Python 應用程式是一個名為「Ominis OSINT - Web Hunter」的 OSINT（開源情報）工具。它透過向 Google 查詢與使用者輸入相關的搜尋結果來進行線上資訊收集，並從結果中擷取相關資訊，例如標題、URL 以及對該查詢的潛在提及。

用於從 LinkedIn API 轉儲/抓取/提取公司員工的 Python 3 指令碼

通用 Reddit 爬蟲，適用於任何 Subreddit 或使用者。