apify

Crawlee—信頼性の高いクローラーを構築するためのNode.js用ウェブスクレイピングおよびブラウザ自動化ライブラリ。JavaScriptおよびTypeScriptで記述。AI、LLM、RAG、またはGPTs用のデータを抽出可能。ウェブサイトからHTML、PDF、JPG、PNGなどのファイルをダウンロード可能。Puppeteer、Playwright、Cheerio、JSDOM、および生のHTTPに対応。ヘッドフルモードとヘッドレスモードの両方に対応。プロキシローテーション機能付き。

Crawlee—信頼性の高いクローラーを構築するためのPython用ウェブスクレイピングおよびブラウザ自動化ライブラリ。AI、LLM、RAG、またはGPTs向けにデータを抽出。ウェブサイトからHTML、PDF、JPG、PNGなどのファイルをダウンロード可能。Parsel、BeautifulSoup、Playwright、および生のHTTPに対応。ヘッドフルモードとヘッドレスモードの両方に対応。プロキシローテーション機能付き。

Apify MCPサーバーは、Apify Storeで利用可能な数千の既製スクレイパー、クローラー、自動化ツールを使用して、AIエージェントがソーシャルメディア、検索エンジン、マップ、eコマースサイト、またはその他のあらゆるウェブサイトからデータを抽出できるようにします。

スクレイパーを匿名化するためのブラウザフィンガープリンティングツール。Apifyによって開発されました。

Apify エージェントスキルのコレクション

SSL、HTTP/HTTPS、SOCKS5、認証、アップストリームプロキシチェーニングをサポートする、Node.js製のプロキシサーバー（Squidのようなもの）の実装

MCP 向けの汎用 CLI クライアント。mcpc は、永続セッション、stdio/HTTP、OAuth 2.1、タスク、コードモード用の JSON 出力、AI サンドボックス用プロキシ、x402 などをサポートしています。

gotをベースにしたスクレイピング用のHTTPクライアント。

impit | ブラウザ偽装用の Rust ライブラリ