scrapy-crawler

エンタープライズレベルの世論・ニュースクローラープロジェクト。任意の数のクローラーの一括実行、定期実行、一括削除、ワンクリックデプロイ、監視の視覚化、およびクラスタークローラーの割り当て戦略の設定をサポート。Dockerによるワンクリックデプロイのドキュメントも整備済みです。