scraper

ニュースサイトから記事、タイトル、メタデータを抽出する、親しまれているNewspaper3kのフォーク版「Newspaper4k」

Elixir向けのハイレベルなウェブクローラー＆スクレイピングフレームワーク

クリーンで AI 支援型 DSL を使用して Ruby でウェブスクレイパーを記述する。Kimurai は AI を使用してデータの位置を特定し、セレクタをキャッシュして純粋な Ruby でスクレイピングを行います。リクエストごとのレイテンシやトークンコストなしで LLM の知能を活用できます。

40以上の人気ドメインに対応したスケーラブルなPythonウェブスクレイピングスクリプト

公式 API 以外の機能を提供する、非公式の MyAnimeList PHP+REST API。

Universal Reddit Scraper - 包括的な Reddit スクレイピング/アーカイビング用コマンドラインツール。

PC 内の資源を管理し、ゲーミフィケーションを提供する総合マネージャー

人間工学的でプライバシーに配慮したRust製HTTPクライアント

<facundoolano/google-play-scraper> にインスパイアされた Python 用 Google Play スクレイパー

「Instagram の非公開投稿」を匿名で閲覧できる史上初のツール

Elixir 製の高性能ウェブクローラー／スクレイパー

ログインやAPIキーなしでX/Twitterのツイート、リプライ、タイムライン、記事を取得 — AIエージェント向けの現場用ツール。

Scrapy スパイダー用の HTTP API

HTML（サーバーおよびクライアントサイドレンダリング）の分析とデータ抽出機能を提供する、Kotlinベースのテスト/スクレイピング/パースライブラリ。直感的なDSLを提供することで、使いやすさと高い可読性を特に重視しています。テストライブラリとしての利用を目的としていますが、手軽にウェブサイトのスクレイピングを行うためにも使用できます。

CSS、XPath 3.0、XQuery 3.0、JSONiq、またはパターンマッチングを使用して、HTML/XMLページやJSON-APIからデータをダウンロードおよび抽出するコマンドラインツール。新規または変換されたXML/HTML/JSONドキュメントの作成も可能。

あらゆるウェブサイトから ZIM ファイルを作成し、オフラインで閲覧しよう！

汎用同人誌・画像ギャラリーダウンローダー

一部のWEB小説をepub形式に変換する

サイト、複数のドメイン、特定のリンク、または無制限に巡回できる多目的 Ruby ウェブスパイダリングライブラリ。高速で使いやすいように設計されています。

ChromeおよびFirefox向けのJava API

国際制裁データ、重要人物、および政治的に重要な人物に関するオープンデータベース

セルフホスト型のスクレイピングエンジン。Cloudflare、Turnstile、reCAPTCHA、hCaptcha、GeeTestなどのJSチャレンジやCAPTCHAを回避します。FlareSolverrやByparrの代替となり、*arrスタックにそのまま組み込んで置き換えることが可能です。

LinkedInのプロフィール情報をスクレイピングし、構造化されたJSONデータとして返すツール

operative frameworkはRust製のOSINT調査フレームワークです。複数ターゲットへのインタラクション、複数モジュールの実行、ターゲットとのリンク作成、レポートのPDFエクスポート、ターゲットや結果へのメモ追加、RESTFul APIとの連携、独自モジュールの作成が可能です。

不動産データをスクレイピングするためのPythonパッケージ

Slash OSINTツール

Amazon、Aliexpress、eBay、その他多数のカスタムストアに対応したマルチユーザーセルフホスト型価格追跡ツール。設定した条件に価格が一致した際に通知を受信。

HTML ページからコンテンツをスクレイピングするための Scala ライブラリ

ウェブ上のスクレイパーのリスト。

Twitter 内部 API ドキュメント