spider

Elixir 製の高性能ウェブクローラー／スクレイパー

多数の組み込み画像クローラーを備えたマルチスレッド対応クローラーフレームワーク

クローラーのリバースエンジニアリング事例。完了済み：TLS指紋｜瑞数（ReDos）｜震坤行｜网易易盾｜微信ミニアプリのリバースエンジニアリング（百達星系）｜同花順｜RPC復号｜加速楽｜Geetestスライダ認証｜巨量算数｜Boss直聘｜企査査｜中国五鉱｜QQ音楽｜産業政策ビッグデータプラットフォーム｜企知道｜雪球（acw_sc__v2）｜1688｜七麦データ｜whggzy｜企名科技｜住建部（mohurd）｜藝恩データ｜OKLink

Spring Boot をベースに実装された Java 株価クローラー（A 株のみ対応）。気に入っていただけたらスターをお願いします。V2 アップグレード版を開発中！

サイト、複数のドメイン、特定のリンク、または無制限に巡回できる多目的 Ruby ウェブスパイダリングライブラリ。高速で使いやすいように設計されています。

インターネット上に位置情報を掲載しているサイトから位置情報を抽出するためのスパイダーおよびスクレイパーのセット

中国国家図書館のISBN検索に基づくcalibre用のsource/metadataプラグイン。https://doiiars.com/article/NLCISBNPlugin

ペネトレーションテストフレームワーク、情報収集ツール、およびウェブサイト脆弱性スキャナー

LinkedInのプロフィール情報をスクレイピングし、構造化されたJSONデータとして返すツール

軽量なウェブクローラーフレームワーク

:newspaper: ChatGPTがHacker Newsの記事を要約してくれるツール

Signal 18 repman - MySQL / MariaDB / Percona Server用レプリケーションマネージャー

ライトノベルパックツール。哔哩轻小说 (bilinovel.com、linovelib.com) のコンテンツを収集してEPUB形式にパッケージ化し、表紙、イラスト、目次、および巻の結合をサポートします。

Pythonショート動画ウォーターマーク（透かし）除去クローラー：抖音、皮皮蝦、火山、微視、最右、快手、全民小動画、皮皮搞笑、西瓜動画、虎牙、梨動画、acfun、好看動画など。

エンタープライズレベルの世論・ニュースクローラープロジェクト。任意の数のクローラーの一括実行、定期実行、一括削除、ワンクリックデプロイ、監視の視覚化、およびクラスタークローラーの割り当て戦略の設定をサポート。Dockerによるワンクリックデプロイのドキュメントも整備済みです。

映像および CatVideo（猫影视）のクローラーリポジトリ

アプリのパラメータ逆解析の思考プロセスと体験、Androidリバースエンジニアリング

Krawl は、リアルでランダムに生成されたおとりのデータと AI 生成の HTML テンプレートを使用して、脆弱性を持つ偽のウェブアプリケーションを作成する、カスタマイズ可能で軽量なクラウドネイティブのウェブ欺瞞サーバーおよびアンチクローラーです。

NetDiscoveryは、Vert.xやRxJava 2などのフレームワークをベースに実装された汎用的なクローラーフレームワーク／ミドルウェアです。

アンケート調査プロジェクト、クラウドサーバーのおすすめ、放置ゲームプロジェクト、無料プロキシ、各種スクリプトのコレクション。右上のベルマークを押して最新情報を受け取ってください。（フォークは控えめに）

ScrapyおよびScrapydのプロジェクト閲覧とタスクの定期実行に対応した、視覚的なクローラー管理ツール（SpiderAdminのアップグレード版）

LinkedIn APIから企業の従業員データをダンプ/スクレイピング/抽出するPython 3スクリプト

Node.js向けの信頼性が高く高水準なウェブクロール＆スクレイピングフレームワーク。

FreeProxy: インターネットから無料プロキシを収集。

🎯 Bilibili（bilibili）コメント欄のデータ視覚化分析ソフト -- アップロード者がネタ選びの参考にし、ファン層を明確にするために使用できます