ai-scraping

提供大规模搜索、抓取与交互的 Context API。🔥

🕷️ 一个自适应的网络爬虫框架，能够处理单一请求到全规模爬取的所有需求！

基于 AI 的 Python 抓取工具

AnyCrawl 🚀：一个 Node.js/TypeScript 爬虫，将网站转换为 LLM 可用数据，并从 Google/Bing/Baidu 等提取结构化 SERP 结果。原生多线程支持批量处理。

使用 AI 驱动的抓取器、爬虫与浏览器自动化，从任何网站收集结构化数据。通过自然语言提示进行抓取与爬虫。为 LLM 代理提供最新资料。AI Studio Python SDK 用于智能网页数据收集。

从特定 URL 开始爬取网站、寻找相关网页并提取数据——完全由您的自然语言提示引导。

一个由 LLM 驱动的强大网页爬虫 | OpenAI、Gemini & Ollama

为 LLM 提供快速、本机优先的网页内容撷取工具。使用 Rust 进行网页抓取、爬取、撷取结构化资料。提供 CLI、REST API 与 MCP 服务器。

使用 LLM 进行网站爬虫的轻量级库

AI Scraper 是一个强大的撷取工具与撷取代理程式，旨在以无与伦比的精确度自动化数据撷取。此工具非常适合跨多种网络来源的可扩充 AI 撷取任务，能将复杂的撷取操作简化为高效、智慧的工作流程。

🔥 此仓库包含使用 Firecrawl 开发的完整应用程序示例，包括网站和其他项目。