postmodern/spidr

一个功能多样的 Ruby 网络爬虫库，可以爬取网站、多个域、特定链接或进行无限爬取。Spidr 的设计宗旨是快速且易于使用。