web-crawling

Crawlee — 用于 Node.js 的网页抓取与浏览器自动化库，支持 JavaScript 与 TypeScript。可为 AI、LLM、RAG 或 GPT 抽取数据，下载 HTML、PDF、JPG、PNG 等文件，兼容 Puppeteer、Playwright、Cheerio、JSDOM 与原始 HTTP，支持有头与无头模式，并提供代理轮换。

Crawlee — 用于 Python 的网页抓取和浏览器自动化库，用于构建可靠的爬虫。提取 AI、LLM、RAG 或 GPT 的数据，下载 HTML、PDF、JPG、PNG 等文件，兼容 Parsel、BeautifulSoup、Playwright 与原始 HTTP，支持有头和无头模式，并具代理轮换功能。

声明式数据自动化语言与 Go 运行时，用于结构化抽取工作流。

一体化框架，打造无懈可击的爬虫

一款强大的 Model Context Protocol (MCP) 服务器，为公开网络访问提供全方位解决方案。

最适合 AI 代理的无头浏览器。轻量、快速、高兼容性。以 Rust 编写。

“Craw4LLM: Efficient Web Crawling for LLM Pretraining”官方仓库