跳到主要内容
buildradar
主题 · web-scraping

web-scraping

标记 web-scraping 主题、收录中的开源项目,按星标数排序。

共 117 个项目
  • wigolo@KnockOutEZ

    你的 AI 代码代理的首选网络——本地优先搜索、抓取、爬取与研究 MCP。无 API 密钥、无云端、$0/查询。公开测试版

    4,752+131近 7 天星标变化
  • patchright@Kaliiiiiiiiii-Vinyzu

    未被检测的 Playwright 测试与自动化库版本

    4,218+77近 7 天星标变化
  • snoop@snooppr

    Snoop — 基于开放数据的情报工具(OSINT world)

    4,011+1近 7 天星标变化
  • design-extract@Manavarya09

    通过一行指令撷取任何网站的完整设计系统。DTCG 标记、语义+原始+复合,适用于 Claude Code/Cursor/Windsurf 的 MCP 服务器、多平台发射器(iOS SwiftUI、Android Compose、Flutter、WordPress)、Tailwind v4、Figma 变量、shadcn/ui、CSS 健康度审计、WCAG 修复、Chrome 扩展功能。采用 MIT 授权、Playwright、Node 20+。

    3,974+622近 7 天星标变化
  • 使用 AI 驱动的抓取器、爬虫与浏览器自动化,从任何网站收集结构化数据。通过自然语言提示进行抓取与爬虫。为 LLM 代理提供最新资料。AI Studio Python SDK 用于智能网页数据收集。

    3,381+86近 7 天星标变化
  • amazon-scraper@oxylabs

    免费试用 Amazon Scraper API,用于提取搜索、产品、优惠列表、评论、问答、畅销书和卖家资料。

    3,355+49近 7 天星标变化
  • php-curl-class@php-curl-class

    PHP Curl Class 让发送 HTTP 请求并整合网络 API 变得简单。

    3,297+0近 7 天星标变化
  • 使用 Python 从 Amazon 擷取产品资料的流程,包括标题、评分、价格、图片和描述。

    3,234+63近 7 天星标变化
  • VirtualBrowser@Virtual-Browser

    免费反指纹浏览器,指纹浏览器、隐私浏览器、防识别浏览器、反识别浏览器、防关联浏览器,免费的 Web3 空投专用指纹浏览器 https://virtualbrowser.cc/?src=github

    3,080+13近 7 天星标变化
  • pythoncode-tutorials@x4nth055

    Python 代码教程

    3,001+2近 7 天星标变化
  • 逐步学习如何使用 Python 和 Oxylabs SERP API 抓取 Google Trends 数据并进行结果比较。提取关键词、其受欢迎程度、按地区划分的数据、相关查询等。

    2,874+38近 7 天星标变化
  • twscrape@vladkens

    用于 X/Twitter 爬取的 Python 库与 CLI,支持多账号轮替与内置速率限制处理。

    2,718+21近 7 天星标变化
  • spider@spider-rs

    为 AI 代理和大型语言模型(LLM)获取网页数据

    2,681+14近 7 天星标变化
  • brightdata-mcp@brightdata

    一款强大的 Model Context Protocol (MCP) 服务器,为公开网络访问提供全方位解决方案。

    2,614+10近 7 天星标变化
  • 30-Days-of-Python@codingforentrepreneurs

    在接下来的 30 天左右学习 Python。

    2,507+3近 7 天星标变化
  • grab@lorien

    网页爬虫框架

    2,463+0近 7 天星标变化
  • anakin@Anakin-Inc

    开源网页抓取 API。将任何网站转为整洁的 markdown 或结构化 JSON。具备防检测浏览器、代理服务器自动选择、可自托管等特性。一行指令:make up

    2,453+178近 7 天星标变化
  • webclaw@0xMassi

    为 LLM 提供快速、本机优先的网页内容撷取工具。使用 Rust 进行网页抓取、爬取、撷取结构化资料。提供 CLI、REST API 与 MCP 服务器。

    2,313+15近 7 天星标变化
  • HeadlessX@saifyxpro

    无法被检测的自托管浏览器自动化平台。由 Camoufox (Firefox) 驱动,实现 0% 检测率。为速度、隐私与可扩展性而打造。

    2,273+18近 7 天星标变化
  • 使用 Python 与 Oxylabs E-Commerce Scraper API 从 Amazon 提取热销商品、搜索结果与当前优惠的代码。

    2,068+51近 7 天星标变化
  • 使用 Python 与 Oxylabs SERP Scraper API 从 Google Scholar 提取标题、作者与引用的指南。

    2,017+76近 7 天星标变化
  • RPA@A9T9

    具有计算机视觉、OCR、Anthropic Computer Use/LLM 功能的 Ui.Vision 开源 RPA 软件。支持 Selenium IDE 导入/导出。

    1,992+12近 7 天星标变化
  • 适用于 Playwright 的免费防检测隐身浏览器:未被检测的无头 Firefox 指纹。Python 爬虫、recaptcha 与机器人检测绕过。开源

    1,952+28近 7 天星标变化
  • stealth-browser-mcp@vibheksoni

    唯一能绕过反机器人系统的浏览器自动化工具。通过简单的聊天,由 AI 编写网络钩子并以像素级精准度克隆 UI。

    1,882+277近 7 天星标变化
  • browserless@microlinkhq

    基于 Puppeteer 的无头 Chrome/Chromium 驱动程序。提供可用于生产环境的 API,用于抓取截图、生成 PDF、提取文本和 HTML。

    1,832+2近 7 天星标变化
  • creatorhub@3441293738

    多平台内容监控·采集·搬运 一个 Web 面板管起抖音 / 小红书 / 快手

    1,781+568近 7 天星标变化
  • 学习如何使用 Python 与 Oxylabs 的 Google Jobs Scraper API,构建能同时为多个搜索查询与地理位置爬取 Google Jobs 的自定义爬虫。https://oxylabs.io/blog/how-to-scrape-google-jobs

    1,741+45近 7 天星标变化
  • selectolax@rushter

    Modest 与 Lexbor 引擎的 Python 绑定。适用于 Python、支持 CSS 选择器的快速 HTML5 解析器。

    1,667+1近 7 天星标变化
  • 在本教程中,我们将展示如何使用 Python 与 Oxylabs API 抓取公开的 Google 数据。

    1,662+45近 7 天星标变化
  • finvizfinance@lit26

    Finviz 分析 Python 库。

    1,624+5近 7 天星标变化
← 返回主题列表