web-crawling

Crawlee — 用於 Node.js 的網頁抓取與瀏覽器自動化函式庫，支援 JavaScript 與 TypeScript。可為 AI、LLM、RAG 或 GPT 抽取資料，下載 HTML、PDF、JPG、PNG 等檔案，兼容 Puppeteer、Playwright、Cheerio、JSDOM 與原始 HTTP，支援有頭與無頭模式，並提供代理輪換。

Crawlee — 用於 Python 的網頁抓取與瀏覽器自動化函式庫，可建構可靠的爬蟲。支援 AI、LLM、RAG 或 GPT 的資料抽取，下載 HTML、PDF、JPG、PNG 等檔案，兼容 Parsel、BeautifulSoup、Playwright 與原始 HTTP，支援有頭與無頭模式，並具代理輪換功能。

宣告式資料自動化語言與 Go 執行環境，用於結構化抽取工作流程。

一體化框架，打造無懈可擊的爬蟲

一款強大的 Model Context Protocol (MCP) 伺服器，為公開網路存取提供全方位解決方案。

最適合 AI 代理的無頭瀏覽器。輕量、快速、高相容性。以 Rust 編寫。

「Craw4LLM: Efficient Web Crawling for LLM Pretraining」官方儲存庫