web-scraping

L'API contextuelle pour rechercher, extraire et interagir avec le Web à grande échelle.

🕷️ Un framework de web scraping adaptatif qui gère tout, d'une simple requête à un crawl à grande échelle !

Scrapy, un framework de crawling et de scraping web rapide et de haut niveau pour Python.

Clonez n'importe quel site web avec une seule commande en utilisant des agents de codage IA

L'outil le plus simple et efficace pour la détection de changements, la surveillance de pages web et les alertes de modification de sites. Idéal pour suivre les changements de contenu, les baisses de prix, les alertes de réapprovisionnement et la surveillance de défiguration de sites, gratuitement ou via notre offre SaaS.

Chromium furtif capable de réussir tous les tests de détection de bots. Remplacement direct de Playwright avec des correctifs d'empreinte numérique au niveau du code source. 30 tests sur 30 réussis.

Scraper Python basé sur l'IA.

Bot open source de candidature à des emplois en Python : automatisation de navigateur et web scraping pour lire les offres, puis candidature automatique avec un CV et une lettre de motivation personnalisés pour chaque poste.

Crawlee — Une bibliothèque de web scraping et d'automatisation de navigateur pour Node.js afin de créer des crawlers fiables. En JavaScript et TypeScript. Extrayez des données pour l'IA, les LLM, le RAG ou les GPT. Téléchargez des fichiers HTML, PDF, JPG, PNG et autres depuis des sites web. Fonctionne avec Puppeteer, Playwright, Cheerio, JSDOM et HTTP brut. Modes avec et sans interface graphique. Avec rotation de proxy.

Douyin_TikTok_Download_API est un outil de scraping asynchrone haute performance prêt à l'emploi pour Douyin, Kuaishou, TikTok et Bilibili, prenant en charge les appels API, l'analyse par lots en ligne et le téléchargement.

La plateforme open-source no-code pour le web scraping, le crawling, la recherche et l'extraction de données par IA • Transformez des sites web en API structurées en quelques minutes

Alternative open-source à NotebookLM. Effectuez des recherches sur le Web avec des données en temps réel (Reddit, YT, IG, TikTok, Indeed, Google Search, Maps, etc.) via une plateforme unique, une API ou un serveur MCP.

Convertissez des sites de documentation, des dépôts GitHub et des PDF en compétences pour Claude AI avec détection automatique des conflits.

📊 API pour l'automatisation web, les tests et le contournement de la détection de bots.

jsoup : le parseur HTML Java conçu pour l'édition, le nettoyage, le scraping et la sécurité XSS.

Pont d'automatisation de navigateur haute performance et orchestrateur multi-instances avec injection furtive avancée et tableau de bord en temps réel.

Crawlee : une bibliothèque de web scraping et d'automatisation de navigateur pour Python permettant de créer des crawlers fiables. Extrayez des données pour l'IA, les LLM, le RAG ou les GPT. Téléchargez des fichiers HTML, PDF, JPG, PNG et autres depuis des sites web. Compatible avec Parsel, BeautifulSoup, Playwright et HTTP brut. Modes avec ou sans interface graphique, avec rotation de proxy.

Navigateur headless furtif pour agents IA — contourne Cloudflare, la détection de bots et l'anti-scraping. Remplacement direct pour Puppeteer/Playwright.

Automatisation web légère avec Python.

Liste de bibliothèques, outils et API pour le web scraping et le traitement de données.

Un scraper web intelligent, automatique, rapide et léger pour Python

Ce dépôt GitHub est une collection puissante d'API que vous pouvez utiliser immédiatement pour créer tout type de projet, des automatisations simples aux applications à grande échelle. L'une des listes d'API les plus précieuses sur GitHub.

Serveur MCP officiel Firecrawl - Ajoute des capacités puissantes de web scraping et de recherche à Cursor, Claude et tout autre client LLM.

Un pilote du protocole Chrome DevTools pour l'automatisation et le scraping web.

Pydoll est une bibliothèque d'automatisation pour navigateurs basés sur Chromium sans WebDriver, offrant des interactions réalistes.

Outil Python et en ligne de commande pour collecter du texte et des métadonnées sur le Web : crawling, scraping, extraction, avec sortie en CSV, JSON, HTML, MD, TXT, XML.

Binding Python pour le fork de curl-impersonate via cffi. Un client HTTP capable d'imiter les empreintes TLS/JA3/HTTP2 des navigateurs.

Langage déclaratif d'automatisation des données et runtime Go pour les flux d'extraction structurés

Extraction de données depuis Google Maps. Récupère des informations telles que le nom, l'adresse, le numéro de téléphone, l'URL du site web, la note, le nombre d'avis, la latitude et la longitude, les avis, l'e-mail et plus encore pour chaque lieu.

CLI d'automatisation de navigateur conçue pour les agents IA. Contournez les protections anti-bot et transférez la main aux humains en cas de blocage. Exécution multitâche parallèle, fonctionnement multi-session indépendant et navigation multi-compte isolée.