crawling

🕷️ Un framework de web scraping adaptatif qui gère tout, d'une simple requête à un crawl à grande échelle !

Scrapy, un framework de crawling et de scraping web rapide et de haut niveau pour Python.

Crawlee — Une bibliothèque de web scraping et d'automatisation de navigateur pour Node.js afin de créer des crawlers fiables. En JavaScript et TypeScript. Extrayez des données pour l'IA, les LLM, le RAG ou les GPT. Téléchargez des fichiers HTML, PDF, JPG, PNG et autres depuis des sites web. Fonctionne avec Puppeteer, Playwright, Cheerio, JSDOM et HTTP brut. Modes avec et sans interface graphique. Avec rotation de proxy.

Framework de scraping et de crawling élégant pour Golang

La plateforme open-source no-code pour le web scraping, le crawling, la recherche et l'extraction de données par IA • Transformez des sites web en API structurées en quelques minutes

newspaper3k est une bibliothèque Python 3 pour l'extraction d'actualités, de textes complets et de métadonnées d'articles.

Crawlee : une bibliothèque de web scraping et d'automatisation de navigateur pour Python permettant de créer des crawlers fiables. Extrayez des données pour l'IA, les LLM, le RAG ou les GPT. Téléchargez des fichiers HTML, PDF, JPG, PNG et autres depuis des sites web. Compatible avec Parsel, BeautifulSoup, Playwright et HTTP brut. Modes avec ou sans interface graphique, avec rotation de proxy.

Liste de bibliothèques, outils et API pour le web scraping et le traitement de données.

Un pilote du protocole Chrome DevTools pour l'automatisation et le scraping web.

Crawler web simple et rapide conçu pour la découverte facile et rapide de points de terminaison et d'actifs au sein d'une application web

Exa MCP pour la recherche et le crawling web !

Une liste d'agents IA et de robots à bloquer.

API .NET pour Headless Chrome.

Prend une liste de domaines, explore les URL et recherche des points de terminaison, des secrets, des clés API, des extensions de fichiers, des jetons et plus encore.

Apache Nutch est un robot d'indexation web extensible et évolutif

Une liste organisée de ressources exceptionnelles sur Puppeteer.

Framework de web scraping

Données sur les jours fériés chinois, récupérées automatiquement chaque jour depuis les annonces du Conseil des affaires d'État

BlueSky Crawler est un système de scraping open source gratuit. Il permet de collecter des données par simple clic, fonctionne en local, sur hébergement mutualisé ou cloud, supporte presque tous les types de pages web, s'intègre aux CMS et publie les données en temps réel sans intervention humaine.

La boîte à outils complète de web scraping pour PHP.

Collection de correctifs pour puppeteer et playwright afin d'éviter la détection d'automatisation et les fuites. Aide à contourner les pages CAPTCHA de Cloudflare et DataDome. Facile à appliquer ou retirer, activable à la demande.

Scraping automatique de données à partir de sites web HTML en fournissant simplement des exemples.

Exemples de code du livre « Automatisation du travail : accomplir 6 mois de tâches en une journée » (Saengneung Publishing, 2020). Conçu pour les débutants en Python, couvrant l'automatisation d'Excel, le design, les macros et le web scraping.

Exécutez un crawler d'archivage web haute fidélité basé sur un navigateur dans un conteneur Docker unique.

Crawly, un framework de crawling et de scraping web de haut niveau pour Elixir.

Scripts de web scraping Python évolutifs pour plus de 40 domaines populaires

Middleware Scrapy pour gérer les pages JavaScript via Selenium.

Aujourd'hui, nous allons pirater le panneau d'administration du site.

SiteOne Crawler est un outil multiplateforme d'exploration et d'analyse de sites web pour le SEO, la sécurité, l'accessibilité et l'optimisation des performances. Idéal pour les développeurs, DevOps, ingénieurs QA et consultants. Supporte Windows, macOS et Linux (x64 et arm64).

API HTTP pour les spiders Scrapy