CrawlScript/WebCollector

WebCollector は Java ベースのオープンソース Web クローラーフレームワークです。Web クローリング用のシンプルなインターフェースを提供し、5 分足らずでマルチスレッド Web クローラーを構築できます。