scraping

Geziyor，适用于 Go 的极速网页爬虫与数据抓取框架。支持 JS 渲染。

用于 X/Twitter 爬取的 Python 库与 CLI，支持多账号轮替与内置速率限制处理。

为 AI 代理和大型语言模型（LLM）获取网页数据

一款强大的 Model Context Protocol (MCP) 服务器，为公开网络访问提供全方位解决方案。

具备统一指纹防御的高级隐私浏览器核心：Cloudflare、Akamai、Kasada、Shape、DataDome、PerimeterX、hCaptcha、FunCaptcha、Imperva、reCAPTCHA、ThreatMetrix、Adscore

用于将爬虫匿名化的浏览器指纹工具。由 Apify 开发。

精选的 Puppeteer 资源列表。

一款 CLI 工具，用于对网站进行屏幕截图、录制视频演示以及使用 JavaScript 爬取网站

网页爬虫框架

OSINT 速查表、OSINT 工具列表、wiki、数据集、文章、书籍、黑客专用的红队 OSINT、OSINT 技巧与 OSINT 分支。本仓库将随着研究不断增长，包含研究、科学与技术、教学。请善加利用。

从任何网络服务或网页获取信息

适用于 Playwright 的免费防检测隐身浏览器：未被检测的无头 Firefox 指纹。Python 爬虫、recaptcha 与机器人检测绕过。开源

Internet-in-a-Box - 使用 Raspberry Pi 建立你自己的亚历山大图书馆！

反检测与拟人化工具及浏览器列表，包含验证码解决器与短信验证码启用工具。

将您的爬虫 IP 隐藏在云端背后。在不同的云端供应商之间预配代理服务器，以提高您的爬虫成功率。

在本教程中，我们将展示如何使用 Python 与 Oxylabs API 抓取公开的 Google 数据。

借助视觉语言模型（VLM），从复杂文档中获取干净的数据 ⚡

AgentQL 是一套用于将 AI 连接至网络的工具。具备查询语言与 Playwright 集成功能，可快速、精确且大规模地与元素交互并提取数据。包含 REST API、Python 与 JavaScript SDK，以及浏览器调试工具。

用于 Puppeteer 与 Playwright 的补丁集合，可避免自动化检测与泄漏。有助于规避 Cloudflare 与 DataDome CAPTCHA 页面。易于修补与解除修补，可依需求启用或禁用。

🤖 仅需提供示例即可从 HTML 网站自动抓取数据

📰 让所有人都能访问的巴西官方公报。

使用 Selenium 与 Seleniumwire (Python) 的开源批量自动 Gmail 创建机器人。欢迎随时联系我进行 Django/Flask、ML、AI、GPT、自动化、网络爬虫相关合作。

使用 LLM 进行网站爬虫的轻量级库

Parsel 让你能够使用 XPath 或 CSS 选择器从 XML/HTML 文档中提取数据

在终端中监看所有内容。

HTTP(S)/SOCKS5 轮换住宅代理 - 代码示例与一般信息。

🎭 智能浏览器请求头与指纹生成器

searx 的开源替代方案，提供外观现代、极速、注重隐私、安全的元搜索引擎

用于移动与转换网络数据包的模块化服务框架

用于各种在线评测系统的工具。包含下载样例测试数据、生成额外测试数据、测试代码以及提交。