webscraping

提供大规模搜索、抓取与交互的 Context API。🔥

🕷️ 一个自适应的网络爬虫框架，能够处理单一请求到全规模爬取的所有需求！

创建可监控并代替你执行操作的代理人。你的代理人已待命！

隐形 Chromium，通过所有机器人检测测试。可直接替代 Playwright，提供源代码层级的指纹修补。30/30 测试通过。

基于 AI 的 Python 抓取工具

一个使用任意 LLM 供应商进行深度研究的自主代理。

🔥 开源无代码平台，用于网页爬取、爬虫、搜索与 AI 数据抽取 • 只需几分钟即可将网站转化为结构化 API 🔥

用于浏览与播放动画的 CLI 工具

📊 用于网页自动化、测试与绕过机器人检测的 API

🦊 防检测浏览器

Web 抓取与数据处理的库、工具和 API 列表

一个智慧、全自动、快速且轻量的 Python 网页爬虫

Bot 防护系统分析与可用对策 🚿。如何击败 anti‑bot 系统 👻 并在网页抓取时绕过浏览器指纹脚本 🕵️‍♂️

未被检测的 Playwright 测试与自动化库版本

一个由 LLM 驱动的强大网页爬虫 | OpenAI、Gemini & Ollama

使用此自动申请工具自动化您的求职申请流程，让找工作变得更轻松

用 Go 实现的网页爬虫，类似于 BeautifulSoup

用于网页交互代理的视觉工具 👀

网络爬虫开源项目仓库，旨在分享使用 Python 进行网络爬虫的知识与经验

通过搜索引擎抓取从组织中提取有效员工姓名的 LinkedIn 枚举工具

为 python requests 提供持久化 HTTP 缓存

Playwright 测试与自动化库的未检测 Python 版本。

👻 使用 OpenAI 的 GPT API 进行网页爬虫的实验性库。

基于 ultrafunkamsterdam/nodriver、极速且优先考虑异步、无法被侦测的网页抓取/网页自动化框架。现已支持 Docker！

使用 LLM 进行网站爬虫的轻量级库

此代码用于执行 Google Maps 的网页抓取和数据提取。它专门用于获取企业信息，包括名称、地址、网站、电话号码、评价等。

在终端中监看所有内容。

适用于 40 多个热门域名的可扩展 Python 网络爬虫脚本

免费、开源的防关联浏览器启动器，用于网络爬虫与多账号管理。由 ProxyShard 团队开发。内含 Chromium 148 的引擎级指纹伪装（WebGL / WebGPU / Client Hints / 字体 / TLS），内置 170+ 种设备配置文件，通过 SOCKS5 支持稳定的 QUIC + WebRTC。

使用 CSS、XPath 3.0、XQuery 3.0、JSONiq 或模式匹配从 HTML/XML 页面或 JSON-API 下载并提取数据的命令行工具。它还可以创建新或转换后的 XML/HTML/JSON 文档。