crawler

实战🐍多种网站、电商数据爬虫🕷。包含🕸：淘宝商品、微信公众号、大众点评、企查查、招聘网站、闲鱼、阿里任务、博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣影评、携程、小米应用商店、安居客、途家民宿❤️❤️❤️。微信爬虫展示项目:

基于 Redis 的 Scrapy 组件

Bot 防护系统分析与可用对策 🚿。如何击败 anti‑bot 系统 👻 并在网页抓取时绕过浏览器指纹脚本 🕵️‍♂️

暗网 OSINT 工具

中国非法爬虫案例集合 本项目用于整理所有中国大陆爬虫开发者涉诉与违规相关的新闻、资料与法律法规。致力于帮助在中国大陆工作的爬虫行业从业者了解相关法律，避免触碰数据合规红线。

新浪微博爬虫，用 Python 爬取新浪微博数据，并下载微博图片与视频

由社区驱动的阅读与聊天 AI 机器人方式，使用 chatGPT 提供支持

小说漫画下载工具：腾讯漫画 大角虫漫画 有妖气 咪咕 SF漫画 哦漫画 看漫画 漫画柜 汗汗酷漫 动漫伊甸园 快看漫画 微博动漫 733动漫网 大古漫画网 漫画DB 无限动漫 动漫狂 卡推漫画 动漫之家 动漫屋 古风漫画网 36漫画网 亲亲漫画网 乙女漫画 webtoons 咚漫 ニコニコ静画 ComicWalker ヤングエースUP モアイ pixivコミック サイコミ;アルファポリス カクヨム ハーメルン 小説家になろう 起点中文网 八一中文网 顶点小说 落霞小说网 努努书坊 笔趣阁→epub。

代理 [Finder | Checker | Server]。HTTP(S) & SOCKS :performing_arts:

DotnetSpider, a .NET standard web crawling library. It is lightweight, efficient and fast high-level web crawling & scraping framework

Intelligent proxy pool for Humans™ 用于从网络获取内容并在这个全新 AI 时代构建您自己的大型语言模型

Headless Chrome .NET API

输入域名清单，爬取网址并扫描端点、秘密、API 密钥、文件扩展名、令牌等信息

一体化信息收集、漏洞扫描与爬虫工具，所有渗透测试人员必备

🚀🚀🚀feapder 是一款易于使用、功能强大的爬虫框架 | feapder 是一款上手简单、功能强大的 Python 爬虫框架。内置 AirSpider、Spider、TaskSpider、BatchSpider 四种爬虫，解决不同场景需求。支持断点续爬、监控告警、浏览器渲染、海量数据去重等功能。更有功能强大的爬虫管理系统 feaplat 为其提供方便的部署及排程

电影元数据抓取工具

每个网站都提供 API。

强大的浏览器爬虫，用于网络漏洞扫描器

Gospider - 用 Go 语言编写的快速网络蜘蛛

全能网络侦测工具

从 Google Play 获取数据的 Node.js 爬虫

owllook - 小说搜索引擎

DecryptLogin：使用请求登录某些网站的 API

https://spatie.be/docs/crawler

Geziyor，适用于 Go 的极速网页爬虫与数据抓取框架。支持 JS 渲染。

Videodl：纯 Python 编写的轻量级视频下载器。（轻量级视频下载器，优先高清无水印，支持抖音、快手、小红书、B站、TikTok、YouTube、FIFA+、优酷、腾讯、爱奇艺、1905电影网、乐视、芒果、咪咕、PPTV、搜狐、Facebook、Twitter、新浪微博、今日头条、网易公开课、全民K歌、CCTV央视频、酷狗音乐MV、新片场、知乎、百度贴吧、TED等海量流媒体平台）

优雅的渐进式 PHP 爬虫框架。

为 AI 代理和大型语言模型（LLM）获取网页数据

易用且轻量化的网络爬虫

news-please - 一个开箱即用的新闻网页爬虫与信息提取工具