apify

Crawlee — 用于 Node.js 的网页抓取与浏览器自动化库，支持 JavaScript 与 TypeScript。可为 AI、LLM、RAG 或 GPT 抽取数据，下载 HTML、PDF、JPG、PNG 等文件，兼容 Puppeteer、Playwright、Cheerio、JSDOM 与原始 HTTP，支持有头与无头模式，并提供代理轮换。

Crawlee — 用于 Python 的网页抓取和浏览器自动化库，用于构建可靠的爬虫。提取 AI、LLM、RAG 或 GPT 的数据，下载 HTML、PDF、JPG、PNG 等文件，兼容 Parsel、BeautifulSoup、Playwright 与原始 HTTP，支持有头和无头模式，并具代理轮换功能。

Apify MCP 服务器可让您的 AI 代理使用 Apify Store 上数千个现成的抓取器、爬虫和自动化工具，从社群媒体、搜索引擎、地图、电子商务网站或任何其他网站提取资料。

用于将爬虫匿名化的浏览器指纹工具。由 Apify 开发。

Apify agent 技能集合

Node.js 实现的代理服务器（类似 Squid），支持 SSL、HTTP/HTTPS、SOCKS5、验证以及上游代理链。

一个通用的 MCP CLI 客户端。mcpc 支持持久会话、stdio/HTTP、OAuth 2.1、任务、代码模式的 JSON 输出、AI 沙盒代理、x402 等功能。

基于 got 制作的网络爬虫 HTTP client。

impit | 用于浏览器模拟的 Rust 库