scrapy

言語やフレームワークを問わない、スパイダー管理のための分散型Webクローラー管理プラットフォーム

搜狗WeChat検索ベースのWeChat公式アカウントクローラーインターフェース

実践的な🐍各種ウェブサイト、eコマースデータクローラー🕷。含むウェブサイト/データ：淘宝商品、微信公众号、大众点评、企查查、求人サイト、闲鱼、阿里タスク、博客园、微博、百度贴吧、豆瓣映画、包图網、全景網、豆瓣音楽、某省薬監局、搜狐ニュース、機械学習テキスト収集、fofa資産収集、汽車之家、国家統計局、百度キーワード収録数、クローラー汎用ディレクトリ、今日頭条、豆瓣影評、携程、小米应用商店、安居客、途家民宿❤️❤️❤️。微信クローラーのデモプロジェクト:

Scrapy用のRedisベースコンポーネント

継続的にメンテナンスされている新浪微博（Sina Weibo）収集ツール🚀🚀🚀

🚀🚀🚀feapderは使いやすく強力なクローラーフレームワークです。feapderは、簡単に使いこなせる強力なPythonクローラーフレームワークです。AirSpider、Spider、TaskSpider、BatchSpiderの4種類のクローラーを内蔵しており、様々なシナリオのニーズに対応します。また、ブレークポイントからの再開、監視アラート、ブラウザレンダリング、大量データ重複排除などの機能もサポートしています。さらに、強力なクローラー管理システムfeaplatが、容易なデプロイとスケジューリングを提供します。

Scrapy、Scrapyd、Django、Vue.js をベースにした分散クローラー管理フレームワーク

Scrapydクラスター管理、Scrapyログ分析・視覚化、自動パッケージング、タイマータスク、監視・アラート、モバイルUIに対応したウェブアプリ。

JavaScript統合のためのScrapy+Splash

Google、Bing、Baiduから画像をダウンロードするツール

Web スクレイピングに関する知識と経験の共有を目的とした、オープンな Web スクレイピングプロジェクトリポジトリ

advertools - オンラインマーケティングの生産性向上および分析ツール

Scrapy 用の Playwright 統合

世界単一最大規模のインターネットドメインデータセット

Pythonクローラー

Python 3 でのより高速なリクエスト処理

抖音、快手、火山、皮皮蝦の動画ウォーターマーク削除プログラム

クリーンで AI 支援型 DSL を使用して Ruby でウェブスクレイパーを記述する。Kimurai は AI を使用してデータの位置を特定し、セレクタをキャッシュして純粋な Ruby でスクレイピングを行います。リクエストごとのレイテンシやトークンコストなしで LLM の知能を活用できます。

selenium を使用して JavaScript ページを処理する Scrapy ミドルウェア

多数の組み込み画像クローラーを備えたマルチスレッド対応クローラーフレームワーク

Scrapy スパイダー用の HTTP API

高性能な非同期の抖音（Douyin）、TikTok、小紅書（Xiaohongshu）、快手（Kuaishou）、微博（Weibo）、Instagram、YouTube、Twitter（X）のキャプチャソルバーおよび一時メールAPI。

Goofish（閑魚）Web版をベースにしたスクレイパー。FastAPIで構築された商品検索APIで、非同期並行リクエストおよび自動データ重複排除・保存をサポート。現在ログイン機能にも対応。

インターネット上に位置情報を掲載しているサイトから位置情報を抽出するためのスパイダーおよびスクレイパーのセット

シンプルで実用的なPythonウェブスクレイピングチュートリアルコード

Scrapy で複数のプロキシを使用する

エンタープライズレベルの世論・ニュースクローラープロジェクト。任意の数のクローラーの一括実行、定期実行、一括削除、ワンクリックデプロイ、監視の視覚化、およびクラスタークローラーの割り当て戦略の設定をサポート。Dockerによるワンクリックデプロイのドキュメントも整備済みです。

ScrapyおよびScrapydのプロジェクト閲覧とタスクの定期実行に対応した、視覚的なクローラー管理ツール（SpiderAdminのアップグレード版）

PHP用の汎用Webユーティリティ

半自動のウェブコンテンツ抽出ツールを作成するためのフレームワーク