crawler

クローラーのリバースエンジニアリング事例。完了済み：TLS指紋｜瑞数（ReDos）｜震坤行｜网易易盾｜微信ミニアプリのリバースエンジニアリング（百達星系）｜同花順｜RPC復号｜加速楽｜Geetestスライダ認証｜巨量算数｜Boss直聘｜企査査｜中国五鉱｜QQ音楽｜産業政策ビッグデータプラットフォーム｜企知道｜雪球（acw_sc__v2）｜1688｜七麦データ｜whggzy｜企名科技｜住建部（mohurd）｜藝恩データ｜OKLink

SiteOne Crawler は、SEO、セキュリティ、アクセシビリティ、パフォーマンスの最適化を行うためのクロスプラットフォーム対応のウェブサイトクローラーおよびアナライザーです。開発者、DevOps、QA エンジニア、コンサルタントに最適です。Windows、macOS、Linux (x64 および arm64) をサポートしています。

Scrapy スパイダー用の HTTP API

高性能な非同期の抖音（Douyin）、TikTok、小紅書（Xiaohongshu）、快手（Kuaishou）、微博（Weibo）、Instagram、YouTube、Twitter（X）のキャプチャソルバーおよび一時メールAPI。

HTML（サーバーおよびクライアントサイドレンダリング）の分析とデータ抽出機能を提供する、Kotlinベースのテスト/スクレイピング/パースライブラリ。直感的なDSLを提供することで、使いやすさと高い可読性を特に重視しています。テストライブラリとしての利用を目的としていますが、手軽にウェブサイトのスクレイピングを行うためにも使用できます。

ArrowDL (Arrow Downloader) は、Windows、MacOS、Linux 向けのダウンロードマネージャーです

サイト、複数のドメイン、特定のリンク、または無制限に巡回できる多目的 Ruby ウェブスパイダリングライブラリ。高速で使いやすいように設計されています。

ai reverse を一括で実行

シンプルで実用的なPythonウェブスクレイピングチュートリアルコード

ChromeおよびFirefox向けのJava API

同人誌ダウンローダー、紳士漫画ダウンローダー

js cookie リバースエンジニアリングツール：js cookie 変更監視可視化ツール ＆ js cookie フック条件付きブレークポイント設定

オープンソースのSEO監査ツール。

LinkedInのプロフィール情報をスクレイピングし、構造化されたJSONデータとして返すツール

『クローラーリバースエンジニアリング実践』書籍コードリポジトリ

軽量なウェブクローラーフレームワーク

The Big Brother V6.0 は、ユーザー名列挙（473以上のプラットフォーム）、クアッドベクトル視覚インテリジェンス、Sky Radar 追跡、暗号資産ウォレット分析、SSL インテリジェンス、デジタルフットプリント再構築、EXIF 抽出、高度なドーキング、ネットワーク偵察を備えた、攻撃機能を持つ OSINT プラットフォームです。

:newspaper: ChatGPTがHacker Newsの記事を要約してくれるツール

最高の PTT ライブラリ。

TumblrおよびTwitterのブログバックアップアプリケーション

Wscan は、Web セキュリティに特化した脆弱性スキャナーであり、誰もが Web セキュリティを手軽に利用できるようにすることを目指しています。

PythonでGoogle、Bing、Yahooなどの検索エンジンを検索する

「Craw4LLM: Efficient Web Crawling for LLM Pretraining」の公式リポジトリ

NetDiscoveryは、Vert.xやRxJava 2などのフレームワークをベースに実装された汎用的なクローラーフレームワーク／ミドルウェアです。

Krawl は、リアルでランダムに生成されたおとりのデータと AI 生成の HTML テンプレートを使用して、脆弱性を持つ偽のウェブアプリケーションを作成する、カスタマイズ可能で軽量なクラウドネイティブのウェブ欺瞞サーバーおよびアンチクローラーです。

画像、CSS、JS、リンクを含めて、Webページをそのままハードディスクにローカル保存します。

Moodle から講義 PDF などのコースコンテンツを高速でダウンロードする Moodle-DL

Jie は、Web アプリケーション向けに綿密に構築された包括的なセキュリティ評価・悪用ツールです。脆弱性スキャン、情報収集、悪用などの堅牢な機能スイートを備えており、セキュリティ専門家やペネトレーションテスターにとって不可欠なツールキットとなっています。

Node.js向けの信頼性が高く高水準なウェブクロール＆スクレイピングフレームワーク。

AIのためのオープンソースWebインフラ。Webのスクレイピング、クロール、自動化、クリーンなMarkdown変換、ブラウザセッションを提供し、エージェントの即時利用に対応します。