web-crawler

大規模にウェブを検索、スクレイピング、操作するためのContext API。🔥

AIベースの Python スクレイパー

Crawlee—信頼性の高いクローラーを構築するためのNode.js用ウェブスクレイピングおよびブラウザ自動化ライブラリ。JavaScriptおよびTypeScriptで記述。AI、LLM、RAG、またはGPTs用のデータを抽出可能。ウェブサイトからHTML、PDF、JPG、PNGなどのファイルをダウンロード可能。Puppeteer、Playwright、Cheerio、JSDOM、および生のHTTPに対応。ヘッドフルモードとヘッドレスモードの両方に対応。プロキシローテーション機能付き。

言語やフレームワークを問わない、スパイダー管理のための分散型Webクローラー管理プラットフォーム

Crawlee—信頼性の高いクローラーを構築するためのPython用ウェブスクレイピングおよびブラウザ自動化ライブラリ。AI、LLM、RAG、またはGPTs向けにデータを抽出。ウェブサイトからHTML、PDF、JPG、PNGなどのファイルをダウンロード可能。Parsel、BeautifulSoup、Playwright、および生のHTTPに対応。ヘッドフルモードとヘッドレスモードの両方に対応。プロキシローテーション機能付き。

ドキュメントからマルチメディアまで、あらゆるデータ形式を取り込み、解析、最適化し、GenAIフレームワークとの互換性を強化

🔥 公式Firecrawl MCPサーバー - Cursor、Claude、およびその他のLLMクライアントに強力なウェブスクレイピングと検索機能を追加。

さまざまな言語で書かれた素晴らしいウェブクローラー/スパイダーのコレクション。

AIコーディングエージェントのための決定版ウェブサイト — MCP上でのローカルファースト検索、フェッチ、クロール、リサーチ。APIキー不要、クラウド不要、クエリあたり$0。パブリックベータ。

究極の情報収集ツールキット

Apache Nutchは、拡張性とスケーラビリティに優れたWebクローラーです。

URLからウェブサイトをクロールし、関連ページを見つけてデータを抽出する。すべて自然言語のプロンプトで制御されます。

AI エージェントや LLM 向けにウェブデータ取得を提供する

オープンソースのWebスクレイピングAPI。任意のウェブサイトをクリーンなMarkdownまたは構造化JSONに変換。アンチ検出ブラウザ、プロキシの自動選択、セルフホスト対応。1コマンド：make up

LLM向けの高速でローカルファーストなWebコンテンツ抽出ツール。スクレイピング、クロール、構造化データの抽出をすべてRustで実行。CLI、REST API、MCPサーバーに対応。

速度と柔軟性を重視して構築された、クロスプラットフォーム対応のC#製Webクローラーフレームワーク。このプロジェクトにスターをお願いします！+1。

テキスト指向ウェブサイトのためのインターネット検索エンジン。小さく、古く、奇妙なウェブをインデックス化します。

完全なWebページの正確なコピーを単一のHTMLファイルに保存するためのCLIツール（SingleFileベース）

AI エージェント向けに最適なヘッドレスブラウザ。軽量、高速、高互換。Rust 製

Webサイトを巡回してリンクを検証するリンク切れチェッカー。Webサイト、ドキュメント、ローカルファイル内のリンク切れや無効な URL を検出します。SEO 監査や CI/CD に最適です。

単一のDockerコンテナで高忠実度なブラウザベースのウェブアーカイブクローラーを実行する

40以上の人気ドメインに対応したスケーラブルなPythonウェブスクレイピングスクリプト

Apache Stormをベースにした、スケーラブルで成熟した多目的Webクローラー

無料のデスクトップ SEO クローラー - Screaming Frog および類似ツールのオープンソース代替。サブスクリプション料金なしでウェブサイトのクロール、リンク分析、SEO データの抽出、結果のエクスポートが可能。完全にカスタマイズおよび拡張可能！

Rust製の高速で軽量な Firecrawl/Tavily 代替ツール。AI エージェント向け MCP サーバーを備えた Web スクレイパー、クローラー、検索 API。Firecrawl 互換 API (/scrape, /crawl, /search) をドロップインで利用可能。1K-URL のベンチマークでは Tavily の 2.3 倍、Firecrawl の 1.5 倍高速。6 MB RAM、シングルバイナリ。セルフホストまたはマネージドクラウドに対応。

サイト、複数のドメイン、特定のリンク、または無制限に巡回できる多目的 Ruby ウェブスパイダリングライブラリ。高速で使いやすいように設計されています。

🔥 このリポジトリには、Firecrawlを使用して開発されたWebサイトやその他のプロジェクトを含む完全なアプリケーション例が含まれています。

「Craw4LLM: Efficient Web Crawling for LLM Pretraining」の公式リポジトリ

Python による検知されにくいウェブスクレイピングとシームレスな HTML パース

AIのためのオープンソースWebインフラ。Webのスクレイピング、クロール、自動化、クリーンなMarkdown変換、ブラウザセッションを提供し、エージェントの即時利用に対応します。