scrapy

Plateforme d'administration de web crawler distribué pour la gestion de spiders, indépendante des langages et des frameworks

Interface de crawler pour comptes publics WeChat basée sur la recherche Sogou WeChat.

Projets pratiques de web scraping pour divers sites et e-commerce : Taobao, WeChat, Dazhong Dianpin, Qichacha, sites d'emploi, Xianyu, Alibaba, blogs, Weibo, Baidu Tieba, Douban, etc.

Composants basés sur Redis pour Scrapy.

Outil de collecte pour Sina Weibo maintenu en continu

feapder est un framework de crawling Python puissant et facile à utiliser. Il propose quatre types de crawlers (AirSpider, Spider, TaskSpider, BatchSpider) pour répondre à divers besoins, incluant la reprise sur erreur, la surveillance, le rendu navigateur et la déduplication de données, avec une gestion facilitée par feaplat.

Framework de gestion de crawler distribué basé sur Scrapy, Scrapyd, Django et Vue.js

Application web pour la gestion de clusters Scrapyd, l'analyse et la visualisation des logs Scrapy, l'empaquetage automatique, les tâches planifiées, la surveillance, les alertes et une interface mobile.

Scrapy et Splash pour l'intégration JavaScript.

Téléchargement d'images depuis Google, Bing et Baidu.

Le dépôt du projet open source de web scraping vise à partager des connaissances et des expériences sur le web scraping avec Python

advertools - outils de productivité et d'analyse pour le marketing en ligne

🎭 Intégration de Playwright pour Scrapy

Le plus grand ensemble de données de domaines Internet au monde

Crawler Python.

Programme de suppression de filigranes vidéo pour Douyin, Kuaishou, Huoshan et Pipixia

Requêtes plus rapides sur Python 3.

Créez des web scrapers en Ruby en utilisant un DSL propre assisté par IA. Kimurai utilise l'IA pour localiser les données, met en cache les sélecteurs et effectue le scraping en Ruby pur. Bénéficiez de l'intelligence d'un LLM sans la latence par requête ni les coûts de jetons.

Middleware Scrapy pour gérer les pages JavaScript via Selenium.

Framework de crawler multi-thread avec de nombreux crawlers d'images intégrés.

API HTTP pour les spiders Scrapy

API haute performance asynchrone pour la résolution de CAPTCHA et les e-mails temporaires pour Douyin, TikTok, Xiaohongshu, Kuaishou, Weibo, Instagram, YouTube, Twitter (X)

Crawler pour Xianyu, basé sur la version web, utilisant FastAPI pour fournir une interface de recherche de produits, avec support des requêtes asynchrones et déduplication automatique des données. Connexion désormais supportée.

Un ensemble de spiders et de scrapers pour extraire des informations de localisation à partir de sites publiant leur emplacement sur Internet.

Code de tutoriel simple mais utile pour le web scraping en Python.

Utiliser plusieurs proxys avec Scrapy.

Projet open source d'entreprise de collecte de nouvelles sur l'opinion publique, très dur : prend en charge un nombre quelconque de crawlers exécutés d'un clic, tâches planifiées de crawlers, suppression en lot de crawlers ; déploiement d'un clic de crawlers ; visualisation de la surveillance des crawlers ; configuration de la stratégie d'affectation des crawlers dans un cluster ; 👉 la documentation d'un déploiement d'un clic avec Docker a déjà été testée pour vous.

spider-admin-pro, un outil de gestion visuelle combinant l'affichage de projets de web scraping Scrapy/Scrapyd et la planification de tâches de scraping, version mise à jour de SpiderAdmin

Un utilitaire web universel pour PHP.

Un framework pour créer des extracteurs de contenu web semi-automatiques