web-scraping

提供大规模搜索、抓取与交互的 Context API。🔥

🕷️ 一个自适应的网络爬虫框架，能够处理单一请求到全规模爬取的所有需求！

Scrapy，一个快速的高阶 Python 网页爬虫与抓取框架。

使用 AI 编码代理，一条指令即可克隆任意网站

最佳且最简单的网站变更检测工具，支持网页监控与变更提醒。适合追踪内容变更、价格下降、补货提醒与网站被篡改监测——免费或使用我们的 SaaS 计划！

隐形 Chromium，通过所有机器人检测测试。可直接替代 Playwright，提供源代码层级的指纹修补。30/30 测试通过。

基于 AI 的 Python 抓取工具

用 Python 实现的开源 AI 求职申请机器人：自动浏览、抓取职位信息，并为每个职位自动填写简历和求职信。

Crawlee — 用于 Node.js 的网页抓取与浏览器自动化库，支持 JavaScript 与 TypeScript。可为 AI、LLM、RAG 或 GPT 抽取数据，下载 HTML、PDF、JPG、PNG 等文件，兼容 Puppeteer、Playwright、Cheerio、JSDOM 与原始 HTTP，支持有头与无头模式，并提供代理轮换。

🚀「Douyin_TikTok_Download_API」是一个开箱即用的高性能异步抖音、快手、TikTok、Bilibili数据爬取工具，支持 API 调用，在线批量解析及下载。

🔥 开源无代码平台，用于网页爬取、爬虫、搜索与 AI 数据抽取 • 只需几分钟即可将网站转化为结构化 API 🔥

开源 NotebookLM 替代方案。通过单一平台、API 或 MCP 服务器，在开放网络上实时检索 Reddit、YT、IG、TikTok、Indeed、Google Search、Maps 等数据。加入我们的 Discord: https://discord.gg/ejRNvftDp9

将文档网站、GitHub 仓库和 PDF 转换为 Claude AI 技能，并自动检测冲突

📊 用于网页自动化、测试与绕过机器人检测的 API

jsoup：用于 HTML 编辑、清理、抓取与 XSS 防护的 Java HTML 解析器

高性能浏览器自动化桥接和多实例编排器，具高级隐蔽注入和实时仪表盘。

Crawlee — 用于 Python 的网页抓取和浏览器自动化库，用于构建可靠的爬虫。提取 AI、LLM、RAG 或 GPT 的数据，下载 HTML、PDF、JPG、PNG 等文件，兼容 Parsel、BeautifulSoup、Playwright 与原始 HTTP，支持有头和无头模式，并具代理轮换功能。

为 AI 代理设计的隐形无头浏览器 — 绕过 Cloudflare、机器人检测与防抓取。即插即用的 Puppeteer/Playwright 替代方案。

使用 Python 实现的轻量级网页自动化工具

Web 抓取与数据处理的库、工具和 API 列表

一个智慧、全自动、快速且轻量的 Python 网页爬虫

此 GitHub 仓库是 API 的强大集合，可立即使用，从简单自动化到全规模应用皆可构建。GitHub 上最有价值的 API 清单——毫无疑问。💪

🔥 官方 Firecrawl MCP 服务器 - 为 Cursor、Claude 和其他 LLM 客户端添加强大的网页抓取和搜索功能

Chrome DevTools 协议驱动，用于网页自动化与抓取

Pydoll 是一个在不使用 WebDriver 的情况下自动化基于 Chromium 浏览器的库，提供逼真的交互。

Python 与命令行工具，用于在网络上收集文本和元数据：爬取、抓取、抽取，输出为 CSV、JSON、HTML、MD、TXT、XML

Python 绑定 curl-impersonate 分支 via cffi。可模仿浏览器 TLS/JA3/HTTP2 指纹的 HTTP 客户端。

声明式数据自动化语言与 Go 运行时，用于结构化抽取工作流。

从 Google Maps 擷取数据。提取名称、地址、电话号、网站 URL、评分、评论数、纬度经度、评论、电子邮件等信息

Browser automation CLI built for AI agents. Break through anti-bot walls, hand off to humans across platforms when stuck. Parallel multi-task execution, independent multi-session operation, isolated multi-account browsing.