scraping

オリジナルの onlyfans-scraper をベースにゼロから完全に刷新・再設計されたフォークプロジェクト

ニュースサイトから記事、タイトル、メタデータを抽出する、親しまれているNewspaper3kのフォーク版「Newspaper4k」

ウェブサイトをAPIに変換するエージェント！

Elixir向けのハイレベルなウェブクローラー＆スクレイピングフレームワーク

Google スプレッドシートなどから動画、画像、SNSコンテンツのリンクを自動的にアーカイブします。

⛏️ Maigret の背景にある抽出エンジン：任意のプロフィール URL を 150 以上のサイトにわたる構造化された OSINT レコードに変換する

40以上の人気ドメインに対応したスケーラブルなPythonウェブスクレイピングスクリプト

🧹 テキストクリーニング用の Python パッケージ。

🚀 人間のためのウェブスクレイピング

有効な ChatGPT スクレイピング API 認証情報を使用してプロンプトを送信し、ChatGPT スクレイパーから構造化された応答を収集します。わずか数個のパラメータでライブ検索を有効にし、HTML コンテキストを注入し、インテリジェントなスクレイパー ChatGPT ワークフローを自動化します。

📄 Notion.so のページを軽量でカスタマイズ可能な静的ウェブサイトに変換する Python ツール

PDF ファイルの目次を自動生成する CLI ツールセット

シンプルで実用的なPythonウェブスクレイピングチュートリアルコード

セルフホスト型のスクレイピングエンジン。Cloudflare、Turnstile、reCAPTCHA、hCaptcha、GeeTestなどのJSチャレンジやCAPTCHAを回避します。FlareSolverrやByparrの代替となり、*arrスタックにそのまま組み込んで置き換えることが可能です。

LinkedInのプロフィール情報をスクレイピングし、構造化されたJSONデータとして返すツール

Lookyloo は、Web ページのキャプチャと、互いに呼び出すドメインのツリー表示を可能にする Web インターフェースです。

😈📚 検出回避とウェブプライバシー愛好家のための、厳選された研究論文およびプレゼンテーションのライブラリ

SERP API を使用した Google 検索結果取得用 Python パッケージ

自動IP管理とリアルタイムのヘルスモニタリングを備えた高性能プロキシローテーションエンジン

不動産データをスクレイピングするためのPythonパッケージ

Comic-dlは、様々なサイトからマンガやコミックをダウンロードするためのコマンドラインツールです。対応サイト：readcomiconline.to、mangafox.me、comic naverなど多数。

:card_index: 正規表現を使用してソーシャルメディアのプロフィールなどを抽出します

データスクレイピング、cronジョブ、メール送信、デプロイなどを1本の動画で学びながら、ウェブスクレイピングに飛び込み Next.js 13 eCommerce 価格トラッカーを構築する。

マルチエージェントチーム向けのサンドボックス化されたコラボレーション：各エージェントを個別の使い捨てサンドボックスに隔離した、Git バックエンドのメッセージフォーラム。認証情報やホストへのアクセスを共有せずに、マシン間で連携できます。

アメリカの裁判所のウェブサイトからメタデータをスクレイピングするためのAPI。

Kemono pawchive Downloader は、Kemono、Coomer、Bunkr、Erome、Saint2.su、nhentai、Discord など、さまざまなサイトからコンテンツをアーカイブするための高速な PyQt5 アプリです。クリエーターブラウザやアップデートチェッカーを備え、マルチスレッドおよびマルチパートダウンロードをサポートしています。セッションの一時停止、再開、復元が可能で、フィルター機能も備えています。

AWS Lambda上でPythonとSeleniumを使用したChrome自動化の最もシンプルなデモ

この Python アプリケーションは、「Ominis OSINT - Web Hunter」と呼ばれる OSINT（公開情報収集）ツールです。ユーザーが入力したクエリに関連する検索結果を Google に問い合わせてオンライン情報収集を行います。タイトル、URL、結果内のクエリの潜在的な言及などの関連情報を抽出します。

LinkedIn APIから企業の従業員データをダンプ/スクレイピング/抽出するPython 3スクリプト

ユニバーサル Reddit スクレイパー - あらゆるサブレディットやユーザーに対応