crawler

実践的な🐍各種ウェブサイト、eコマースデータクローラー🕷。含むウェブサイト/データ：淘宝商品、微信公众号、大众点评、企查查、求人サイト、闲鱼、阿里タスク、博客园、微博、百度贴吧、豆瓣映画、包图網、全景網、豆瓣音楽、某省薬監局、搜狐ニュース、機械学習テキスト収集、fofa資産収集、汽車之家、国家統計局、百度キーワード収録数、クローラー汎用ディレクトリ、今日頭条、豆瓣影評、携程、小米应用商店、安居客、途家民宿❤️❤️❤️。微信クローラーのデモプロジェクト:

Scrapy用のRedisベースコンポーネント

利用可能な対策を伴うBot保護システムの分析 🚿。Webスクレイピング時にアンチボットシステム 👻 を回避し、ブラウザフィンガープリンティングスクリプト 🕵️‍♂️ を乗り越える方法。

Dark Web OSINTツール

中国のウェブクローラーに関する違法事例集。本プロジェクトは、中国大陸におけるすべてのクローラー開発者が関与する訴訟および違反に関連するニュース、資料、法律を整理しています。中国大陸で働くクローラー業界の従事者が関連法規を理解し、データコンプライアンスのレッドラインに触れることを避けるのに役立つことを目指しています。

新浪微博クローラー。Pythonを使用して新浪微博のデータをクロールし、微博の画像と動画をダウンロードします。

コミュニティ主導のAIボットとの対話・チャット方法 - chatGPTを搭載

コミック小説ダウンロードツール、小説漫画のダウンローダ、小説漫画ダウンロード：腾讯漫画、大角虫漫画、有妖气、咪咕 SF漫画、哦漫画、看漫画、漫画柜、汗汗酷漫、動漫伊甸園、快看漫画、微博动漫、733动漫网、大古漫画网、漫画DB、無限動漫、動漫狂、卡推漫画、动漫之家、动漫屋、古風漫画網、36漫画網、親親漫画網、乙女漫画、webtoons、咚漫、ニコニコ静画、ComicWalker、ヤングエースUP、モアイ、pixivコミック、サイコミ;アルファポリス、カクヨム、ハーメルン、小説家になろう、起点中文网、八一中文网、顶点小说、落霞小说网、努努书坊、筆趣閣→epub.

プロキシ [Finder | Checker | Server]。HTTP(S) & SOCKS。

DotnetSpider、.NET標準のWebクローリングライブラリ。軽量で効率的かつ高速なハイレベルなWebクローリング＆スクレイピングフレームワークです。

この新しいAI時代において、人間がインターネットからコンテンツを抽出し、独自のLarge Language Modelsを構築するためのインテリジェントなプロキシプール。

Headless Chrome .NET API

ドメインのリストを取り込み、URLをクロールし、エンドポイント、シークレット、APIキー、ファイル拡張子、トークンなどをスキャンします。

情報収集、脆弱性スキャン、クロールを網羅したオールインワンツール。すべてのペネトレーションテスターにとって必須のツール。

🚀🚀🚀feapderは使いやすく強力なクローラーフレームワークです。feapderは、簡単に使いこなせる強力なPythonクローラーフレームワークです。AirSpider、Spider、TaskSpider、BatchSpiderの4種類のクローラーを内蔵しており、様々なシナリオのニーズに対応します。また、ブレークポイントからの再開、監視アラート、ブラウザレンダリング、大量データ重複排除などの機能もサポートしています。さらに、強力なクローラー管理システムfeaplatが、容易なデプロイとスケジューリングを提供します。

映画メタデータスクレイパー

すべてのウェブサイトが API を提供する。

ウェブ脆弱性スキャナー向けの強力なブラウザクローラー

Gospider - Go 言語で書かれた高速な Web スパイダー。

オールインワン Web 偵察ツール

Google Playからデータを取得するNode.jsスクレイパー

owllook - 小説検索エンジン

DecryptLogin：requests ライブラリを使用してさまざまなウェブサイトへのログインを行う API 集。

https://spatie.be/docs/crawler

Geziyor は、Go 言語向けの非常に高速なウェブクローリングおよびスクレイピングフレームワークです。JS レンダリングをサポートしています。

Videodl: 純粋な Python で書かれた軽量な動画ダウンローダー。（大量のストリーミングプラットフォームをサポート）

洗練されたプログレッシブなPHPクローラーフレームワーク

AI エージェントや LLM 向けにウェブデータ取得を提供する

使いやすく軽量なウェブクローラー

news-please - そのまま動く、ニュース向けの統合Webクローラーおよび情報抽出ツール