web-scraping

一个具备隐匿功能的浏览器自动化框架

一个功能多样的 Ruby 网络爬虫库，可以爬取网站、多个域、特定链接或进行无限爬取。Spidr 的设计宗旨是快速且易于使用。

Uscrapper Vanta：通过此强大的开源工具深入探索网络。轻松高效地从表面网络与深层网络来源提取有价值的洞察。利用 Vanta 的进阶功能增强您的数据挖掘与分析能力。快速、可靠且易于使用，Uscrapper Vanta 是研究人员与分析师的最佳选择。

自托管爬虫引擎 — 可绕过任何 JS 挑战与验证码：Cloudflare、Turnstile、reCAPTCHA、hCaptcha、GeeTest。作为 FlareSolverr 与 Byparr 的替代方案，可直接替换至您的 *arr 堆栈中。

Playwright 测试与自动化库的未检测（Undetected）NodeJS 版本。

使用 Google Sheets 进行基础网页爬虫指南

通过 SERP API 获取 Google 搜索结果的 Python 软件包

将任何网页应用程序转换为 API。通过 Chrome 扩展程序捕获浏览器流量、自动生成 Schema，并让 AI 直接重新执行 API。无需官方 API。

ChatGPT Team(Business) 促销码自动扫描工具 — 批量发现/验证/价格收集，支持 17 国 34 个码，最高折扣 71% | ChatGPT Business promo code scanner — batch discovery, validation, price collection, 34 codes across 17 countries, up to 71% off

🤖 具备可视化工作流程构建器的 AI 网页爬虫编辑器。通过自然语言构建、测试与部署网页爬虫。由 ScrapeGraphAI 与 LangGraph 驱动。

通过可视化堆叠区块来建立复杂的浏览器工作流程，并通过 API 执行

100% 免费且完全开源的 Firecrawl 替代方案，具备更佳的 agent 链接提取功能，可自行部署至 cloudflare 或 vercel。

通过远程云端会话执行复杂的自动化脚本，具备集成式住宅代理、自动验证码解决机制，以及针对最棘手动态网站的原生 JavaScript 渲染功能。

数据科学项目的完整生命周期

一款适用于央视网的网络视频流解析处理工具

一个基于 Playwright 的 Node.js 工具，可绕过搜索引擎的反爬虫机制执行 Google 搜索。集成 MCP 服务器的 SERP API 本地替代方案。

一个通用的 PHP 网页工具。

可模拟网页浏览器 TLS/HTTP2 指纹的 HTTP 客户端。

跨社交媒体获取用户数据

Automate scraping hotel data including pricing, availability, ratings, and booking providers with a Google Hotels API integration.

Python 中隐蔽的网页爬虫与无缝 HTML 解析工具！

用于 AI 的开源网页基础设施。支持网页抓取、爬虫、自动化、Markdown 清理与浏览器会话，为你的 Agent 做好准备。

通过 Basketball Reference 获取 NBA 统计数据的 API

专为 AI 代理设计的快速、无状态网页搜索与抓取 CLI

基于 Jekyll 的 The Programming Historian 静态网站。

哔哩哔哩 (bilibili) 评论区数据可视化分析软件，协助 UP 主指导选题并厘清粉丝群体。

A skill for AI agents: search the web with SearXNG, browse with Camofox, bypass protections with CloakBrowser. Anti-hallucination by design. Self-hosted, free, unlimited.

Python 快速入门指南，协助您充分利用 Oxylabs Web Scraper API 免费试用版。

用于创建半自动网页内容提取器的框架