crawler

リークされた GPTs のプロンプト。25 メッセージの制限を回避したり、Plus サブスクリプションなしで GPTs を試したりできます。

ウェブスクレイピングフレームワーク

🕷 CrawlerDetect は、ユーザーエージェント経由でボット、クローラー、スパイダーを検出するための PHP クラスです。

速度と柔軟性を重視して構築された、クロスプラットフォーム対応のC#製Webクローラーフレームワーク。このプロジェクトにスターをお願いします！+1。

Website Cloner - 強力なGo routineを活用し、数秒でウェブサイトをコンピュータにクローンします。

🏳️‍🌈 Twitter、Reddit、Instagram、BlueSky、TikTok、Threads、Facebook、OnlyFans、YouTube、Pinterest、PornHub、XHamster、XVIDEOS、ThisVid など、あらゆるサイトからメディアをダウンロードするツール

ウェブコンテンツをLLM対応データに変換

オープンソースかつ無料で使えるスクレイピングシステム「蓝天采集器」。クリック操作でルールを編集してデータを収集でき、ローカル、レンタルサーバー、クラウドサーバー上で実行可能です。あらゆるタイプのウェブページに対応し、各種 CMS とシームレスに連携、ログイン不要でリアルタイムにデータを公開し、完全自動で人手による介入を必要としません。完全クロスプラットフォーム対応のクラウドスクレイピングソフトウェアです。

asyncio ベースの Web クローリングフレームワーク。

クローラーのサンプル集。淘宝、京东、天猫、豆瓣、抖音、快手、微博、微信、阿里、頭条、PDD、優酷、愛奇藝、携程、12306、58、捜狐、各種指数、維普万方、Zlibrary、Oalib、小説、入札サイト、調達サイト、小紅書、大衆点評、Twitter、脈脈、知乎などを含むがこれらに限定されない

Playwright 向けの無料アンチ検出ブラウザーステルス：検出されないヘッドレス Firefox フィンガープリンティング。Python スクレイピング、reCAPTCHA およびボット検知のバイパス。オープンソース。

ストリーミングサイトからデータを抽出するための NewPipe のコアライブラリ

ブラウザメモリのメモリリーク／ダンプ調査ソリューション（探索中...）

磁気サイト U3C3 の紹介とドメイン名の更新

柔軟な Node.js 製 AI 支援型クローラーライブラリ

マルチプラットフォームのコンテンツ監視・収集・転送：TikTok、小紅書（Xiaohongshu）、快手（Kuaishou）を1つのWebパネルで管理

Diskover Community Edition - Elasticsearchを搭載したオープンソースのファイルインデクサー、ファイル検索エンジン、データ管理・分析ツール

Google、Naver マルチプロセス画像ウェブクローラー (Selenium)

Modest および Lexbor エンジンの Python バインディング。Python 向けの CSS セレクタを備えた高速な HTML5 パーサー。

Pythonクローラー。現在の在庫：NetEase Cloud Musicの楽曲、Bilibiliの動画、知乎のQ&A、壁紙、xvideosの動画、オーディオブック、Weibo、Anjukeの情報とデータ可視化、Bilibili動画の表紙抽出ツール、IPプロキシプールのカプセル化、知乎の100万人規模のユーザーデータクローラーと分析、GitHubユーザーのクローラー。

アーキビスト向けのウェブクローラー：WARC出力、全クロールのダッシュボード、動的な除外パターン

TikTokクローラー — アカウントのホーム、いいね、お気に入り、音楽の原音、トピック、検索、コレクション、投稿、フォロー、フォロワーなどの公開データを収集します。

ScopeSentry - サイバースペースのマッピング、サブドメイン列挙、ポートスキャン、機密情報の検出、脆弱性スキャン、分散ノード

完全なWebページの正確なコピーを単一のHTMLファイルに保存するためのCLIツール（SingleFileベース）

❤️ Fredy - [F]ind [R]eal [E]state [D]amn Eas[y] - ImmoScout24、Immowelt、eBay Kleinanzeigenなどのプラットフォームでドイツの新着アパートや一戸建てを自動検索し、Slack、Telegram、Email、Discord、ntfy経由で即座にお知らせします。人生のより大切なことに集中しましょう ;)

Elasticsearch File System Crawler (FS Crawler)

使いやすくプライバシーに配慮したPython用HTTPクライアント

小紅書（RED）のデータ収集、ウェブサイトの画像、動画リソースのバッチダウンロードツール。優れたデザインのデータ収集ツール（一括ダウンロード、動画抽出、画像）。Telegram: https://t.me/+ZtLSwuIKTo44MDY1

自動化検知やリークを回避するための puppeteer および playwright 用パッチ集。Cloudflare や DataDome の CAPTCHA ページを回避しやすくします。簡単にパッチの適用・解除が可能で、必要に応じて有効化／無効化できます。

Web プライバシー測定フレームワーク