ai-scraping

提供大規模搜尋、抓取與互動的 Context API。🔥

🕷️ 一個自適應的網路爬蟲框架，能處理單一請求到全規模爬取的所有需求！

基於 AI 的 Python 抓取工具

AnyCrawl 🚀：一個 Node.js/TypeScript 爬蟲，將網站轉換為 LLM 可用資料，並從 Google/Bing/Baidu 等提取結構化 SERP 結果。原生多執行緒支援批量處理。

使用 AI 驅動的抓取器、爬蟲與瀏覽器自動化，從任何網站收集結構化資料。透過自然語言提示進行抓取與爬蟲。為 LLM 代理提供最新資料。AI Studio Python SDK 用於智能網頁資料收集。

從特定 URL 開始爬取網站、尋找相關網頁並擷取資料——完全由您的自然語言提示引導。

一個由 LLM 驅動的強大網頁爬蟲 | OpenAI、Gemini & Ollama

為 LLM 提供快速、本機優先的網頁內容擷取工具。使用 Rust 進行網頁抓取、爬取、擷取結構化資料。提供 CLI、REST API 與 MCP 伺服器。

使用 LLM 進行網站爬蟲的輕量級函式庫

AI Scraper 是一個強大的擷取工具與擷取代理程式，旨在以無與倫比的精確度自動化資料擷取。此工具非常適合跨多種網路來源的可擴充 AI 擷取任務，能將複雜的擷取操作簡化為高效、智慧的工作流程。

🔥 此儲存庫包含使用 Firecrawl 開發的完整應用程式範例，包含網站和其他專案。