web-crawler

提供大规模搜索、抓取与交互的 Context API。🔥

基于 AI 的 Python 抓取工具

Crawlee — 用于 Node.js 的网页抓取与浏览器自动化库，支持 JavaScript 与 TypeScript。可为 AI、LLM、RAG 或 GPT 抽取数据，下载 HTML、PDF、JPG、PNG 等文件，兼容 Puppeteer、Playwright、Cheerio、JSDOM 与原始 HTTP，支持有头与无头模式，并提供代理轮换。

分布式爬虫管理平台，支持任何语言和框架的蜘蛛管理

Crawlee — 用于 Python 的网页抓取和浏览器自动化库，用于构建可靠的爬虫。提取 AI、LLM、RAG 或 GPT 的数据，下载 HTML、PDF、JPG、PNG 等文件，兼容 Parsel、BeautifulSoup、Playwright 与原始 HTTP，支持有头和无头模式，并具代理轮换功能。

获取、解析并优化任何数据格式 ➡️ 从文档到多媒体 ➡️ 提升与 GenAI 框架的兼容性

🔥 官方 Firecrawl MCP 服务器 - 为 Cursor、Claude 和其他 LLM 客户端添加强大的网页抓取和搜索功能

各种语言的优秀网络爬虫与蜘蛛集合

你的 AI 代码代理的首选网络——本地优先搜索、抓取、爬取与研究 MCP。无 API 密钥、无云端、$0/查询。公开测试版

终极信息收集工具包

Apache Nutch 是一个具扩展性与伸缩性的网络爬虫

从特定 URL 开始爬取网站、寻找相关网页并提取数据——完全由您的自然语言提示引导。

为 AI 代理和大型语言模型（LLM）获取网页数据

开源网页抓取 API。将任何网站转为整洁的 markdown 或结构化 JSON。具备防检测浏览器、代理服务器自动选择、可自托管等特性。一行指令：make up

为 LLM 提供快速、本机优先的网页内容撷取工具。使用 Rust 进行网页抓取、爬取、撷取结构化资料。提供 CLI、REST API 与 MCP 服务器。

为速度与灵活性而构建的跨平台 C# 网络爬虫框架。请帮这个项目点个 star！+1。

面向文本网站的互联网搜索引擎。索引小型、古老与奇特的网络世界。

用于在单个 HTML 文件中保存完整网页真实副本的 CLI 工具（基于 SingleFile）

最适合 AI 代理的无头浏览器。轻量、快速、高兼容性。以 Rust 编写。

用于爬取网站并验证链接的坏链接检查器。寻找网站、文件和本地文件中的坏链接、死链接和无效 URL。非常适合 SEO 审计与 CI/CD。

在单一 Docker 容器中执行高保真基于浏览器的网页归档爬虫

适用于 40 多个热门域名的可扩展 Python 网络爬虫脚本

基于 Apache Storm 的可扩展、成熟且多功能的网页爬虫

免费桌面端 SEO 爬虫 - Screaming Frog 及同类工具的开源替代方案。无需订阅费即可抓取网站、分析链接、提取 SEO 数据并导出结果。完全可自定义且可扩展！

用 Rust 编写的快速、轻量级 Firecrawl/Tavily 替代方案。具备 MCP 服务器的网页爬虫、抓取与搜索 API，专为 AI agent 设计。兼容 Firecrawl API（/scrape、/crawl、/search）。在 1K-URL 效能测试中，比 Tavily 快 2.3 倍、比 Firecrawl 快 1.5 倍。仅需 6 MB RAM、单一执行档。可自架或使用托管云端。

一个功能多样的 Ruby 网络爬虫库，可以爬取网站、多个域、特定链接或进行无限爬取。Spidr 的设计宗旨是快速且易于使用。

🔥 此仓库包含使用 Firecrawl 开发的完整应用程序示例，包括网站和其他项目。

“Craw4LLM: Efficient Web Crawling for LLM Pretraining”官方仓库

Python 中隐蔽的网页爬虫与无缝 HTML 解析工具！

用于 AI 的开源网页基础设施。支持网页抓取、爬虫、自动化、Markdown 清理与浏览器会话，为你的 Agent 做好准备。