crawling

🕷️ 一个自适应的网络爬虫框架，能够处理单一请求到全规模爬取的所有需求！

Scrapy，一个快速的高阶 Python 网页爬虫与抓取框架。

Crawlee — 用于 Node.js 的网页抓取与浏览器自动化库，支持 JavaScript 与 TypeScript。可为 AI、LLM、RAG 或 GPT 抽取数据，下载 HTML、PDF、JPG、PNG 等文件，兼容 Puppeteer、Playwright、Cheerio、JSDOM 与原始 HTTP，支持有头与无头模式，并提供代理轮换。

Elegant Scraper and Crawler Framework for Golang

🔥 开源无代码平台，用于网页爬取、爬虫、搜索与 AI 数据抽取 • 只需几分钟即可将网站转化为结构化 API 🔥

newspaper3k 是一个用于 Python 3 的新闻、全文与文章元数据抽取工具。高级文档：

Crawlee — 用于 Python 的网页抓取和浏览器自动化库，用于构建可靠的爬虫。提取 AI、LLM、RAG 或 GPT 的数据，下载 HTML、PDF、JPG、PNG 等文件，兼容 Parsel、BeautifulSoup、Playwright 与原始 HTTP，支持有头和无头模式，并具代理轮换功能。

Web 抓取与数据处理的库、工具和 API 列表

Chrome DevTools 协议驱动，用于网页自动化与抓取

简单、快速的网页爬虫，设计用于轻松、快速发现网页应用程序内的端点与资产

Exa MCP 用于网络搜索与网页爬虫

一份 AI 代理与机器人封锁清单

Headless Chrome .NET API

输入域名清单，爬取网址并扫描端点、秘密、API 密钥、文件扩展名、令牌等信息

Apache Nutch 是一个具扩展性与伸缩性的网络爬虫

精选的 Puppeteer 资源列表。

网页爬虫框架

📅🇨🇳中国法定节假日数据 自动每日抓取国务院公告

蓝天采集器是一款开源免费的爬虫系统，仅需点选编辑规则即可采集数据，可运行在本地、虚拟主机或云服务器中，几乎能采集所有类型的网页，无缝对接各类CMS建站程序，免登录实时发布数据，全自动无需人工干预！是网页大数据采集软件中完全跨平台的云端爬虫系统

PHP 的完整网页爬虫工具包。

用于 Puppeteer 与 Playwright 的补丁集合，可避免自动化检测与泄漏。有助于规避 Cloudflare 与 DataDome CAPTCHA 页面。易于修补与解除修补，可依需求启用或禁用。

🤖 仅需提供示例即可从 HTML 网站自动抓取数据

《把六个月的工作在一天内完成的工作自动化（生能出版社，2020）》的示例代码。这是为从未学过 Python 的读者所设计的示例，提供从 Excel、设计、宏到爬虫等各种与工作自动化相关的领域示例。

在单一 Docker 容器中执行高保真基于浏览器的网页归档爬虫

Crawly，一个适用于 Elixir 的高级网络爬虫与数据抓取框架。

适用于 40 多个热门域名的可扩展 Python 网络爬虫脚本

用于处理使用 Selenium 之 JavaScript 页面的 Scrapy 中间件

今天我们要入侵网站的管理后台。

SiteOne Crawler 是一个跨平台的网站爬虫与分析工具，适用于 SEO、安全性、无障碍性与性能优化——非常适合开发人员、DevOps、QA 工程师与顾问。支持 Windows、macOS 和 Linux (x64 和 arm64)。

Scrapy 爬虫的 HTTP API