crawl

INFO-SPIDER 是一個集眾多資料源於一身的爬蟲工具箱🧰，旨在安全快捷地協助使用者取回自己的資料，工具程式碼開源，流程透明。支援的資料源包括 GitHub、QQ 郵箱、網易郵箱、阿里郵箱、新浪郵箱、Hotmail 郵箱、Outlook 郵箱、京東、淘寶、支付寶、中國移動、中國聯通、中國電信、知乎、哔哩哔哩、網易雲音樂、QQ 好友、QQ群、生成朋友圈相冊、瀏覽器瀏覽歷史、12306、博客園、CSDN 部落格、開源中國部落格、簡書。

novel-plus 是一個多端（PC、WAP）閱讀、功能完善的小說 CMS 系統，包含小說推薦、檢索、排行、閱讀、書架、評論、爬蟲、會員中心、作家區、充值訂閱、新聞發布等功能

AnyCrawl 🚀：一個 Node.js/TypeScript 爬蟲，將網站轉換為 LLM 可用資料，並從 Google/Bing/Baidu 等提取結構化 SERP 結果。原生多執行緒支援批量處理。

基於小紅書 Web 端進行的請求封裝。https://reajason.github.io/xhs/

靈活的 Node.js AI 輔助爬蟲函式庫

檔案管理員的網頁爬蟲：WARC 輸出、所有爬蟲的儀表板、動態忽略模式

瀏覽過的精彩逆向文章彙總，值得一看

Tavily Python SDK 允許與 Tavily API 進行輕鬆互動，直接從您的 Python 程式中提供我們的完整搜尋、擷取、爬取、對應與研究功能。輕鬆將智慧搜尋、內容擷取與研究功能整合到您的應用程式中，善用 Tavily 的強大功能。

JS 破解逆向，破解 JS 反爬蟲加密參數，已破解極驗滑塊 w（2022.2.19）、QQ 音樂 sign（2022.2.13）、拼多多 anti_content、boss 直聘 zp_token、知乎 x-zse-96、酷狗 kg_mid/dfid、唯品會 mars_cid、中國裁判文書網（2020-06-30更新）、淘寶密碼、天安保險登入、B站登入、房天下登入、WPS登入、微博登入、有道翻譯、網易登入、微信公眾號登入、空中網登入、今目標登入、學生資訊管理系統登入、共贏金融登入、重慶科技資源共享平台登入、網易雲音樂下載、一鍵解析影片連結、財聯社登入。

HTML 轉 Markdown 轉換器與爬蟲。