webcrawler

言語やフレームワークを問わない、スパイダー管理のための分散型Webクローラー管理プラットフォーム

ニュースウェブページ本文の汎用抽出器 Beta版。

オープンソースかつ無料で使えるスクレイピングシステム「蓝天采集器」。クリック操作でルールを編集してデータを収集でき、ローカル、レンタルサーバー、クラウドサーバー上で実行可能です。あらゆるタイプのウェブページに対応し、各種 CMS とシームレスに連携、ログイン不要でリアルタイムにデータを公開し、完全自動で人手による介入を必要としません。完全クロスプラットフォーム対応のクラウドスクレイピングソフトウェアです。

SpiderSuite（Web セキュリティクローラー）のリリース、Wiki、ロードマップ

Scrapy スパイダー用の HTTP API

Uscrapper Vanta：強力なオープンソースツールでWebをより深く探索。サーフェスWebおよびディープWebから貴重なインサイトを簡単かつ効率的に抽出。Vantaの高度な機能によりデータマイニングと分析を強化。高速、信頼性、ユーザーフレンドリーなUscrapper Vantaは、研究者やアナリストにとって究極の選択肢です。