crawler

閲覧した素晴らしいリバースエンジニアリング関連記事のまとめ、必見です

🤖 例を提供するだけで、HTMLウェブサイトからデータを自動スクレイピングする

K哥クローラーコード共有、JS リバースエンジニアリング、クローラーのステップアップ。公式アカウント「K哥爬虫」をフォローしてください

ページから構造化データを抽出する、エレガントな DSL を備えた軽量な Ruby 製ウェブクローラー／スクレイパー

クロスサイトリクエストフォージェリ（CSRF）の監査および悪用ツールキット

📝 Instagram プロフィールの情報（フォロワー、タグなど）を素早くクロールします。

Go言語で書かれた最速のdorkスキャナー。

Chrome CDP プロトコルを使用して実際のログイン状態を再利用し、フォントのスクレイピング対策を回避し、平文の給与 JSON/CSV および給与・スキル分析を出力する BOSS直聘 スクレイパー／求人データ取得ツール。

Beanbun は PHP で書かれたマルチプロセス対応のWebクローラーフレームワークで、優れたオープン性と高い拡張性を持ち、Workerman をベースにしています。

使いやすいBilibili漫画ダウンローダー。GUIを備え、キーワード検索やQRコードログイン、未解錠チャプターの高度なダウンロード、マルチスレッドダウンロード、多彩な保存形式、ローカル漫画管理、ワンクリックでのアップデート確認をサポート。

Appium に基づくアプリ自動クロールツール。

Tumblr ブログからすべての写真や動画を簡単にダウンロード。

ニュースサイトから記事、タイトル、メタデータを抽出する、親しまれているNewspaper3kのフォーク版「Newspaper4k」

OpenSearch をベースに構築された、オープンソースかつセルフホスト型のエンタープライズおよびサイト検索サーバー。Web、ファイル、DB、クラウドデータソースのクロール、20 以上の言語、REST API、AI/RAG、セマンティック検索をサポート。Apache-2.0。

単一のDockerコンテナで高忠実度なブラウザベースのウェブアーカイブクローラーを実行する

Elixir向けのハイレベルなウェブクローラー＆スクレイピングフレームワーク

クリーンで AI 支援型 DSL を使用して Ruby でウェブスクレイパーを記述する。Kimurai は AI を使用してデータの位置を特定し、セレクタをキャッシュして純粋な Ruby でスクレイピングを行います。リクエストごとのレイテンシやトークンコストなしで LLM の知能を活用できます。

40以上の人気ドメインに対応したスケーラブルなPythonウェブスクレイピングスクリプト

Golang による短尺動画のウォーターマーク削除ツール：TikTok、皮皮蝦、火山、微視、最右、快手、全民小視頻、皮皮搞笑、西瓜視頻、虎牙、梨視頻、AcFun、好看視頻などに対応

人間工学的でプライバシーに配慮したRust製HTTPクライアント

小説のダウンロード・スクレイピング、起点、筆趣閣、Markdown エクスポート、txt エクスポート、epub 変換、広告フィルター、自動校正

pixiv.net 用ツール。誰でも使える pixiv スクレイパー

<facundoolano/google-play-scraper> にインスパイアされた Python 用 Google Play スクレイパー

Apache Stormをベースにした、スケーラブルで成熟した多目的Webクローラー

SpiderSuite（Web セキュリティクローラー）のリリース、Wiki、ロードマップ

Elixir 製の高性能ウェブクローラー／スクレイパー

Rust製の高速で軽量な Firecrawl/Tavily 代替ツール。AI エージェント向け MCP サーバーを備えた Web スクレイパー、クローラー、検索 API。Firecrawl 互換 API (/scrape, /crawl, /search) をドロップインで利用可能。1K-URL のベンチマークでは Tavily の 2.3 倍、Firecrawl の 1.5 倍高速。6 MB RAM、シングルバイナリ。セルフホストまたはマネージドクラウドに対応。

VibeLoft の Twitter アカウントデータセットを含む、X.com 向けの純粋な Python プロトコルツールおよび研究ノート

多数の組み込み画像クローラーを備えたマルチスレッド対応クローラーフレームワーク

ChatWeb はウェブページのクロール、PDF・DOCX・TXT の読み込みを行ってメインコンテンツを抽出し、その内容に基づいて質問に回答したり、要点をまとめたりすることができます。