scraper

提供大规模搜索、抓取与交互的 Context API。🔥

创建可监控并代替你执行操作的代理人。你的代理人已待命！

视觉化无代码/免代码网页爬虫/抓取工具，易采集：一款可视化浏览器自动化测试/数据采集/网页爬虫软件，可无代码图形化设计与执行爬虫任务。别名：ServiceWrapper，面向 Web 应用的智能服务封装系统。

👾 用 Go 编写的快速且简易的视频下载库和 CLI 工具

快速、灵活且优雅的 HTML 与 XML 解析与操作库

Crawlee — 用于 Node.js 的网页抓取与浏览器自动化库，支持 JavaScript 与 TypeScript。可为 AI、LLM、RAG 或 GPT 抽取数据，下载 HTML、PDF、JPG、PNG 等文件，兼容 Puppeteer、Playwright、Cheerio、JSDOM 与原始 HTTP，支持有头与无头模式，并提供代理轮换。

Elegant Scraper and Crawler Framework for Golang

🚀「Douyin_TikTok_Download_API」是一个开箱即用的高性能异步抖音、快手、TikTok、Bilibili数据爬取工具，支持 API 调用，在线批量解析及下载。

🔥 开源无代码平台，用于网页爬取、爬虫、搜索与 AI 数据抽取 • 只需几分钟即可将网站转化为结构化 API 🔥

newspaper3k 是一个用于 Python 3 的新闻、全文与文章元数据抽取工具。高级文档：

AV 电影管理系统，avmoo、javbus、javlibrary 爬虫，线上 AV 影片图书馆，AV 磁力链接数据库，Japanese Adult Video Library, Adult Video Magnet Links - Japanese Adult Video Database

Crawlee — 用于 Python 的网页抓取和浏览器自动化库，用于构建可靠的爬虫。提取 AI、LLM、RAG 或 GPT 的数据，下载 HTML、PDF、JPG、PNG 等文件，兼容 Parsel、BeautifulSoup、Playwright 与原始 HTTP，支持有头和无头模式，并具代理轮换功能。

一个智慧、全自动、快速且轻量的 Python 网页爬虫

各种语言的优秀网络爬虫与蜘蛛集合

Chrome DevTools 协议驱动，用于网页自动化与抓取

使用大型语言模型将任何网页转换为结构化数据

💡 下载任何网站的完整源代码（包括所有资产）。[JavaScript、样式表、图片] 通过 Node.js

Bot 防护系统分析与可用对策 🚿。如何击败 anti‑bot 系统 👻 并在网页抓取时绕过浏览器指纹脚本 🕵️‍♂️

一个多功能工具，用于从线上资产抓取并提取资料，为黑客设计。

JavaScript 的 YouTube 影片下载器

Twitter API Scraper | 无需 API 密钥 | Twitter 内部 API | 免费 | Twitter 抓取器 | Twitter Bot

一个抓取 LinkedIn 用户资料的库

由社区驱动的阅读与聊天 AI 机器人方式，使用 chatGPT 提供支持

从 OnlyFans 账号抓取所有媒体 - 定期更新

🔮 一个为人类设计的 Node.js 抓取器

Emby/Jellyfin的日本电影刮削器插件，可从某些网站抓取影片信息

输入域名清单，爬取网址并扫描端点、秘密、API 密钥、文件扩展名、令牌等信息

电影元数据抓取工具

想免费学新东西吗？别担心，利用网页抓取与自动化，这个脚本会寻找必要的 Udemy 优惠券并为您报名付费 Udemy 课程，完全免费！

一个由 LLM 驱动的强大网页爬虫 | OpenAI、Gemini & Ollama