spider

ウェブスクレイピングフレームワーク

🕷 CrawlerDetect は、ユーザーエージェント経由でボット、クローラー、スパイダーを検出するための PHP クラスです。

Google、Bing、Baiduから画像をダウンロードするツール

速度と柔軟性を重視して構築された、クロスプラットフォーム対応のC#製Webクローラーフレームワーク。このプロジェクトにスターをお願いします！+1。

オープンソースかつ無料で使えるスクレイピングシステム「蓝天采集器」。クリック操作でルールを編集してデータを収集でき、ローカル、レンタルサーバー、クラウドサーバー上で実行可能です。あらゆるタイプのウェブページに対応し、各種 CMS とシームレスに連携、ログイン不要でリアルタイムにデータを公開し、完全自動で人手による介入を必要としません。完全クロスプラットフォーム対応のクラウドスクレイピングソフトウェアです。

asyncio ベースの Web クローリングフレームワーク。

磁気サイト U3C3 の紹介とドメイン名の更新

柔軟な Node.js 製 AI 支援型クローラーライブラリ

ターゲットウェブサイトのOSINT収集およびOWASP脆弱性のファジングを行う、Pythonベースのウェブアプリケーションスキャナー。

QQ空间导出助手，用于备份QQ空间的说说、日志、私密日记、相册、视频、留言板、QQ好友、收藏夹、分享、最近访客为文件，便于迁移与保存

Pythonクローラー。現在の在庫：NetEase Cloud Musicの楽曲、Bilibiliの動画、知乎のQ&A、壁紙、xvideosの動画、オーディオブック、Weibo、Anjukeの情報とデータ可視化、Bilibili動画の表紙抽出ツール、IPプロキシプールのカプセル化、知乎の100万人規模のユーザーデータクローラーと分析、GitHubユーザーのクローラー。

アーキビスト向けのウェブクローラー：WARC出力、全クロールのダッシュボード、動的な除外パターン

TikTokクローラー — アカウントのホーム、いいね、お気に入り、音楽の原音、トピック、検索、コレクション、投稿、フォロー、フォロワーなどの公開データを収集します。

閲覧した素晴らしいリバースエンジニアリング関連記事のまとめ、必見です

K哥クローラーコード共有、JS リバースエンジニアリング、クローラーのステップアップ。公式アカウント「K哥爬虫」をフォローしてください

誰もがアクセスできるブラジルの官報

クロスサイトリクエストフォージェリ（CSRF）の監査および悪用ツールキット

インターネットから電子書籍をスクレイピングするためのダウンロードツール

Chrome CDP プロトコルを使用して実際のログイン状態を再利用し、フォントのスクレイピング対策を回避し、平文の給与 JSON/CSV および給与・スキル分析を出力する BOSS直聘 スクレイパー／求人データ取得ツール。

Beanbun は PHP で書かれたマルチプロセス対応のWebクローラーフレームワークで、優れたオープン性と高い拡張性を持ち、Workerman をベースにしています。

機械学習、ディープラーニング、コンピュータビジョン、自然语言処理、LLM、Web スクレイピングなどの分野における実践プロジェクトを含む大規模言語モデル (LLM) のノート 50 選

Elixir向けのハイレベルなウェブクローラー＆スクレイピングフレームワーク

:alien: OneBlog、シンプルで美しく、高機能かつレスポンシブな Java ブログ

WeChat公式アカウントの記事をスクレイピングする

40以上の人気ドメインに対応したスケーラブルなPythonウェブスクレイピングスクリプト

JSのリバースエンジニアリングと難読化解除。Geetestスライダーw、QQ音楽sign、Pinduoduo anti_content、BOSS直聘zp_token、知乎x-zse-96、酷狗kg_mid/dfid、唯品会mars_cid、中国裁判文書網、淘宝パスワード、天安保険ログイン、BiliBiliログイン、房天下ログイン、WPSログイン、Weiboログイン、有道翻訳、NetEaseログイン、WeChat公式アカウントログイン、空中網ログイン、今目標ログイン、学生情報管理システムログイン、共贏金融ログイン、重慶科技資源共有プラットフォームログイン、NetEase Cloud Musicダウンロード、動画リンクのワンクリック解析、財聯社ログインなどの暗号化パラメータを解読。

Golang による短尺動画のウォーターマーク削除ツール：TikTok、皮皮蝦、火山、微視、最右、快手、全民小視頻、皮皮搞笑、西瓜視頻、虎牙、梨視頻、AcFun、好看視頻などに対応

小説のダウンロード・スクレイピング、起点、筆趣閣、Markdown エクスポート、txt エクスポート、epub 変換、広告フィルター、自動校正

使いやすいWebコンソールを備えた設定可能なWebスパイダー

SpiderSuite（Web セキュリティクローラー）のリリース、Wiki、ロードマップ