crawler

提供大规模搜索、抓取与交互的 Context API。🔥

🕷️ 一个自适应的网络爬虫框架，能够处理单一请求到全规模爬取的所有需求！

Scrapy，一个快速的高阶 Python 网页爬虫与抓取框架。

视觉化无代码/免代码网页爬虫/抓取工具，易采集：一款可视化浏览器自动化测试/数据采集/网页爬虫软件，可无代码图形化设计与执行爬虫任务。别名：ServiceWrapper，面向 Web 应用的智能服务封装系统。

👾 用 Go 编写的快速且简易的视频下载库和 CLI 工具

基于 AI 的 Python 抓取工具

用 Python 实现的开源 AI 求职申请机器人：自动浏览、抓取职位信息，并为每个职位自动填写简历和求职信。

Crawlee — 用于 Node.js 的网页抓取与浏览器自动化库，支持 JavaScript 与 TypeScript。可为 AI、LLM、RAG 或 GPT 抽取数据，下载 HTML、PDF、JPG、PNG 等文件，兼容 Puppeteer、Playwright、Cheerio、JSDOM 与原始 HTTP，支持有头与无头模式，并提供代理轮换。

Elegant Scraper and Crawler Framework for Golang

Python ProxyPool 用于网络爬虫

🚀「Douyin_TikTok_Download_API」是一个开箱即用的高性能异步抖音、快手、TikTok、Bilibili数据爬取工具，支持 API 调用，在线批量解析及下载。

新一代爬虫与蜘蛛框架

🔥 开源无代码平台，用于网页爬取、爬虫、搜索与 AI 数据抽取 • 只需几分钟即可将网站转化为结构化 API 🔥

newspaper3k 是一个用于 Python 3 的新闻、全文与文章元数据抽取工具。高级文档：

一些非常有趣的 python 爬虫例子，对新手友好，主要爬取淘宝、天猫、微信、微信读书、豆瓣、QQ 等网站。

为 OSINT 设计的极快爬虫

分布式爬虫管理平台，支持任何语言和框架的蜘蛛管理

用于 Java 的可扩展网络爬虫框架

Python脚本。模拟登录知乎，爬虫，操作excel，微信公众号，远程开机

AV 电影管理系统，avmoo、javbus、javlibrary 爬虫，线上 AV 影片图书馆，AV 磁力链接数据库，Japanese Adult Video Library, Adult Video Magnet Links - Japanese Adult Video Database

Crawlee — 用于 Python 的网页抓取和浏览器自动化库，用于构建可靠的爬虫。提取 AI、LLM、RAG 或 GPT 的数据，下载 HTML、PDF、JPG、PNG 等文件，兼容 Parsel、BeautifulSoup、Playwright 与原始 HTTP，支持有头和无头模式，并具代理轮换功能。

为OPC/中小微企业量身打造的自媒体获客智能体

Web 抓取与数据处理的库、工具和 API 列表

一个智慧、全自动、快速且轻量的 Python 网页爬虫

各种语言的优秀网络爬虫与蜘蛛集合

Python API for JMComic | 提供 Python API 访问禁漫天堂，同时支持网页端与移动端 | 禁漫天堂 GitHub Actions 下载器🚀

Pydoll 是一个在不使用 WebDriver 的情况下自动化基于 Chromium 浏览器的库，提供逼真的交互。

NodeJS 的网页爬虫/蜘蛛，搭配服务器端 jQuery ;-)

Python 与命令行工具，用于在网络上收集文本和元数据：爬取、抓取、抽取，输出为 CSV、JSON、HTML、MD、TXT、XML

基于搜狗微信搜索的公众号爬虫接口