crawler

泄露的 GPTs 提示词可绕过 25 条消息限制，或在没有 Plus 订阅的情况下试用 GPTs。

网页爬虫框架

CrawlerDetect 是一个通过 user agent 来检测机器人、爬虫与蜘蛛的 PHP 类

为速度与灵活性而构建的跨平台 C# 网络爬虫框架。请帮这个项目点个 star！+1。

网站克隆工具 - 利用强大的 Go routines 在几秒钟内将网站克隆到您的计算机。

🏳️‍🌈 支持来自任何网站的媒体下载器，包含 Twitter、Reddit、Instagram、BlueSky、TikTok、Threads、Facebook、OnlyFans、YouTube、Pinterest、PornHub、XHamster、XVIDEOS、ThisVid 等。

将网页内容转换为适合 LLM 使用的数据

蓝天采集器是一款开源免费的爬虫系统，仅需点选编辑规则即可采集数据，可运行在本地、虚拟主机或云服务器中，几乎能采集所有类型的网页，无缝对接各类CMS建站程序，免登录实时发布数据，全自动无需人工干预！是网页大数据采集软件中完全跨平台的云端爬虫系统

基于 asyncio 的网络爬虫框架。

爬虫案例合集。包括但不限于《淘宝、京东、天猫、豆瓣、抖音、快手、微博、微信、阿里、头条、pdd、优酷、爱奇艺、携程、12306、58、搜狐、各种指数、维普万方、Zlibraty、Oalib、小说、招标网、采购网、小红书、大众点评、推特、脉脉、知乎》

适用于 Playwright 的免费防检测隐身浏览器：未被检测的无头 Firefox 指纹。Python 爬虫、recaptcha 与机器人检测绕过。开源

NewPipe 的核心函式库，用于从串流网站撷取资料

浏览器内存漫游解决方案（探索中...）

磁力网站U3C3介绍以及域名更新

灵活的 Node.js AI 辅助爬虫库

多平台内容监控·采集·搬运 一个 Web 面板管起抖音 / 小红书 / 快手

Diskover Community Edition - 基于 Elasticsearch 的开源文件索引器、文件搜索引擎与数据管理和分析工具

Google、Naver 多进程图片网络爬虫 (Selenium)

Modest 与 Lexbor 引擎的 Python 绑定。适用于 Python、支持 CSS 选择器的快速 HTML5 解析器。

Python 爬虫，目前库存：网易云音乐歌曲爬取、B站视频爬取、知乎问答爬取、壁纸爬取、xvideos 视频爬取、有声书爬取、微博爬虫、安居客信息爬取+数据可视化、哔哩哔哩视频封面提取器、ip 代理池封装、知乎百万级用户爬虫+数据分析、GitHub 用户爬虫

档案管理员的网页爬虫：WARC 输出、所有爬虫的仪表板、动态忽略模式

抖音爬虫——采集账号主页、喜欢、收藏、音乐原声、话题、搜索、合集、作品、关注、粉丝等公开数据。

ScopeSentry 网络空间测绘、子域名字典枚举、端口扫描、敏感信息发现、漏洞扫描、分布式节点

用于在单个 HTML 文件中保存完整网页真实副本的 CLI 工具（基于 SingleFile）

❤️ Fredy - 轻松寻找房地产 - Fredy 持续在 ImmoScout24、Immowelt、eBay Kleinanzeigen 等德国平台上搜索新公寓与房屋，并通过 Slack、Telegram、Email、Discord 或 ntfy 即时将结果传送给您，让您专注于生活中更重要的事 ;)

Elasticsearch 文件系统爬虫 (FS Crawler)

一个符合人体工程学且注重隐私的 Python HTTP 客户端

小红书数据采集、网站图片、视频资源批量下载工具，高颜值数据采集工具（批量下载、视频提取、图片）Telegram:https://t.me/+ZtLSwuIKTo44MDY1

用于 Puppeteer 与 Playwright 的补丁集合，可避免自动化检测与泄漏。有助于规避 Cloudflare 与 DataDome CAPTCHA 页面。易于修补与解除修补，可依需求启用或禁用。

一个网页隐私测量框架