scraping

Geziyor は、Go 言語向けの非常に高速なウェブクローリングおよびスクレイピングフレームワークです。JS レンダリングをサポートしています。

複数のアカウントのローテーションとレート制限の自動処理を備えた、X/Twitterスクレイピング用のPythonライブラリおよびCLI

AI エージェントや LLM 向けにウェブデータ取得を提供する

パブリックウェブアクセスのためのオールインワンソリューションを提供する強力な Model Context Protocol (MCP) サーバー

高度なプライバシーブラウザコア（統合フィンガープリンティング防御機能付き：Cloudflare、Akamai、Kasada、Shape、DataDome、PerimeterX、hCaptcha、FunCaptcha、Imperva、reCAPTCHA、ThreatMetrix、Adscore 対応）

スクレイパーを匿名化するためのブラウザフィンガープリンティングツール。Apifyによって開発されました。

厳選された素晴らしい Puppeteer リソースのリスト

Web サイトのスクリーンショット撮影、動画デモの録画、JavaScript を使用したスクレイピングを行う CLI ユーティリティ

ウェブスクレイピングフレームワーク

OSINT チートシート、OSINT ツールリスト、Wiki、データセット、記事、書籍、ハッカー向けレッドチーム OSINT、OSINT のヒントと分野。研究、科学技術、チュートリアルに関する調査を行うたびにこのリポジトリは成長します。賢くご利用ください。

あらゆるウェブサービスやページから情報を取得する

Playwright 向けの無料アンチ検出ブラウザーステルス：検出されないヘッドレス Firefox フィンガープリンティング。Python スクレイピング、reCAPTCHA およびボット検知のバイパス。オープンソース。

Internet-in-a-Box - Raspberry Piを使って自分だけの「アレクサンドリア図書館」を構築しよう！

CAPTCHAソルバーやSMS認証など、アンチディテクトおよび人間模倣ツール・ブラウザのリスト

スクレイパーのIPをクラウドの背後に隠す。さまざまなクラウドプロバイダーでプロキシサーバーをプロビジョニングし、スクレイピングの成功率を向上させます。

Python と Oxylabs API を使用して公開されている Google データをスクレイピングする方法を紹介するチュートリアル

ビジョン言語モデルを活用し、複雑なドキュメントからクリーンなデータを抽出する ⚡

AgentQL は、AI をウェブに接続するためのツールスイートです。クエリ言語と Playwright 統合を備え、要素との対話やデータの迅速、正確かつ大規模な抽出を実現します。REST API、Python および JavaScript SDK、ブラウザデバッガーを含みます。

自動化検知やリークを回避するための puppeteer および playwright 用パッチ集。Cloudflare や DataDome の CAPTCHA ページを回避しやすくします。簡単にパッチの適用・解除が可能で、必要に応じて有効化／無効化できます。

🤖 例を提供するだけで、HTMLウェブサイトからデータを自動スクレイピングする

誰もがアクセスできるブラジルの官報

Selenium と Seleniumwire (Python) を使用したオープンソースの Gmail 一括自動作成ボット

LLMを使用してWebサイトをスクレイピングするための軽量ライブラリ

XPathやCSSセレクターを使用してXML/HTMLドキュメントからデータを抽出するParsel。

ターミナルであらゆるものを監視する。

HTTP(S)/SOCKS5 ローテーション住宅用プロキシ - コード例と一般情報。

🎭 インテリジェントなブラウザヘッダーおよびフィンガープリントジェネレータ

:rocket: モダンな見た目 :sparkles:、超高速 :zap:、プライバシー尊重 :disguised_face:、セキュア :lock: な searx のオープンソース代替メタ検索エンジン

ネットワークパケットの移動と変換を行うモジュール式サービスフレームワーク

各種オンラインジャッジ用ツール。サンプルケースのダウンロード、追加テストケースの生成、コードのテスト、提出を行うことができます。