postmodern/spidr

一個功能多樣的 Ruby 網路爬蟲庫，可以爬取網站、多個網域、特定連結或進行無限爬取。Spidr 的設計宗旨是快速且易於使用。