crawler

实战🐍多种网站、电商数据爬虫🕷。包含🕸：淘宝商品、微信公众号、大众点评、企查查、招聘网站、闲鱼、阿里任务、博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣影评、携程、小米应用商店、安居客、途家民宿❤️❤️❤️。微信爬虫展示项目:

基於 Redis 的 Scrapy 組件

Bot 防護系統分析與可用對策 🚿。如何擊敗 anti‑bot 系統 👻 並在網頁抓取時繞過瀏覽器指紋腳本 🕵️‍♂️

暗網 OSINT 工具

中國非法爬蟲案例集合 本項目用於整理所有中國大陸爬蟲開發者涉訴與違規相關的新聞、資料與法律法規。致力於協助在中國大陸工作的爬蟲行業從業者了解相關法律，避免觸碰數據合規紅線。

新浪微博爬蟲，用 Python 爬取新浪微博資料，並下載微博圖片與視頻

由社群驅動的閱讀與聊天 AI 機器人方式，使用 chatGPT 提供支援

小說漫畫下載工具：騰訊漫畫 大角蟲漫畫 有妖氣 咪咕 SF漫畫 哦漫畫 看漫畫 漫畫櫃 汗汗酷漫 動漫伊甸園 快看漫畫 微博動漫 733動漫網 大古漫畫網 漫畫DB 無限動漫 動漫狂 卡推漫畫 動漫之家 動漫屋 古風漫畫網 36漫畫網 親親漫畫網 乙女漫畫 webtoons 咚漫 ニコニコ静画 ComicWalker ヤングエースUP モアイ pixivコミック サイコミ;アルファポリス カクヨム ハーメルン 小説家になろう 起點中文網 八一中文網 頂點小說 落霞小說網 努努書坊 筆趣閣→epub。

代理 [Finder | Checker | Server]。HTTP(S) & SOCKS :performing_arts:

DotnetSpider, a .NET standard web crawling library. It is lightweight, efficient and fast high-level web crawling & scraping framework

Intelligent proxy pool for Humans™ 用於從網路擷取內容並在這個全新 AI 時代構建您自己的大型語言模型

Headless Chrome .NET API

輸入域名清單，爬取網址並掃描端點、秘密、API 金鑰、檔案副檔名、令牌等資訊

一體化資訊收集、漏洞掃描與爬蟲工具，所有滲透測試人員必備

🚀🚀🚀feapder 是一款易於使用、功能強大的爬蟲框架 | feapder 是一款上手簡單、功能強大的 Python 爬蟲框架。內置 AirSpider、Spider、TaskSpider、BatchSpider 四種爬蟲，解決不同場景需求。支援斷點續爬、監控告警、瀏覽器渲染、海量資料去重等功能。更有功能強大的爬蟲管理系統 feaplat 為其提供方便的部署及排程

電影元資料抓取工具

每個網站都提供 API。

強大的瀏覽器爬蟲，用於網路漏洞掃描器

Gospider - 用 Go 語言編寫的快速網路蜘蛛

全能網路偵測工具

從 Google Play 擷取資料的 Node.js 爬蟲

owllook - 小說搜尋引擎

DecryptLogin：使用請求登入某些網站的 API

https://spatie.be/docs/crawler

Geziyor，適用於 Go 的極速網頁爬蟲與數據抓取框架。支援 JS 渲染。

Videodl：純 Python 編寫的輕量級影片下載器。（輕量級影片下載器，優先高畫質無浮水印，支援抖音、快手、小紅書、B站、TikTok、YouTube、FIFA+、優酷、騰訊、愛奇藝、1905電影網、樂視、芒果、咪咕、PPTV、搜狐、Facebook、Twitter、新浪微博、今日頭條、網易公開課、全民K歌、CCTV央視頻、酷狗音樂MV、新片場、知乎、百度貼吧、TED等海量串流媒體平台）

優雅的漸進式 PHP 爬蟲框架。

為 AI 代理和大型語言模型（LLM）獲取網頁資料

易用且輕量化的網路爬蟲

news-please - 一個開箱即用的新聞網頁爬蟲與資訊擷取工具