spider

網頁爬蟲框架

CrawlerDetect 是一個透過 user agent 來偵測機器人、爬蟲與蜘蛛的 PHP 類別

從 Google、Bing、Baidu 下載圖片。谷歌、百度、必应图片下载。

為速度與靈活性而建構的跨平台 C# 網路爬蟲框架。請幫這個專案點個 star！+1。

藍天採集器是一款開源免費的爬蟲系統，僅需點選編輯規則即可採集資料，可執行在本地、虛擬主機或雲端伺服器中，幾乎能採集所有類型的網頁，無縫對接各類 CMS 建站程式，免登入即時發布資料，全自動無需人工干預！是網頁大資料採集軟體中完全跨平台的雲端爬蟲系統

基於 asyncio 的網路爬蟲框架。

磁力網站U3C3介紹以及域名更新

靈活的 Node.js AI 輔助爬蟲函式庫

基於 Python 的網頁應用程式掃描器，用於收集 OSINT 並對目標網站進行 OWASP 漏洞模糊測試。

QQ空间导出助手，用于备份QQ空间的说说、日志、私密日记、相册、视频、留言板、QQ好友、收藏夹、分享、最近访客为文件，便于迁移与保存

Python 爬蟲，目前庫存：網易雲音樂歌曲爬取、B站影片爬取、知乎問答爬取、桌布爬取、xvideos 影片爬取、有聲書爬取、微博爬蟲、安居客資訊爬取+資料視覺化、嗶哩嗶哩影片封面提取器、ip 代理池封裝、知乎百萬級用戶爬蟲+資料分析、GitHub 用戶爬蟲

檔案管理員的網頁爬蟲：WARC 輸出、所有爬蟲的儀表板、動態忽略模式

抖音爬蟲——採集帳號主頁、喜歡、收藏、音樂原聲、話題、搜尋、合集、作品、關注、粉絲等公開資料。

瀏覽過的精彩逆向文章彙總，值得一看

K 哥爬蟲程式碼分享，JS 逆向，爬蟲進階。關注公眾號：K哥爬蟲

📰 讓所有人都能存取的巴西官方公報。

頂尖的跨站請求偽造（CSRF）審計與利用工具包。

一個用於從網路抓取電子書的下載工具。

Boss直聘爬蟲 / BOSS直聘職位資料抓取工具，基於 Chrome CDP 協議復用真實登入態，繞過字體反爬，輸出明文薪資 JSON/CSV + 薪資技能分析。A Chrome-CDP-based BOSS Zhipin job scraper/crawler.

Beanbun 是用 PHP 編寫的多行程網路爬蟲框架，具有良好的開放性、高可擴充性，基於 Workerman。

llms 大模型 筆記50篇 此倉庫包含關於機器學習、深度學習、電腦視覺、自然語言處理、大模型 爬蟲等領域 專案實戰

Crawly，一個適用於 Elixir 的高階網路爬蟲與資料擷取框架。

:alien: OneBlog，一個簡潔美觀、功能強大並且自適應的 Java 部落格

爬取微信公眾號文章

適用於 40 多個熱門域名的可擴充 Python 網路爬蟲腳本

JS 破解逆向，破解 JS 反爬蟲加密參數，已破解極驗滑塊 w（2022.2.19）、QQ 音樂 sign（2022.2.13）、拼多多 anti_content、boss 直聘 zp_token、知乎 x-zse-96、酷狗 kg_mid/dfid、唯品會 mars_cid、中國裁判文書網（2020-06-30更新）、淘寶密碼、天安保險登入、B站登入、房天下登入、WPS登入、微博登入、有道翻譯、網易登入、微信公眾號登入、空中網登入、今目標登入、學生資訊管理系統登入、共贏金融登入、重慶科技資源共享平台登入、網易雲音樂下載、一鍵解析影片連結、財聯社登入。

Golang短影片去水印：抖音、皮皮蝦、火山、微視、最右、快手、全民小影片、皮皮搞笑、西瓜影片、虎牙、梨影片、acfun、好看影片...

小說下載、小說爬蟲、起點、筆趣閣、匯出 Markdown、匯出 txt、轉換 epub、廣告過濾、自動校對

具備易用網頁主控台的可設定網路爬蟲

SpiderSuite（網頁安全爬蟲）版本釋出、wiki 與發展藍圖