scraping

Geziyor, framework de crawling et de scraping web ultra-rapide pour Go. Supporte le rendu JS.

Bibliothèque Python et CLI pour le scraping de X/Twitter avec rotation multi-comptes et gestion intégrée des limites de débit.

Récupération de données web pour les agents IA et les LLM.

Un serveur Model Context Protocol (MCP) puissant offrant une solution tout-en-un pour l'accès au web public.

Cœur de navigateur axé sur la confidentialité avec défense unifiée contre le fingerprinting : Cloudflare, Akamai, Kasada, Shape, DataDome, PerimeterX, hCaptcha, FunCaptcha, Imperva, reCAPTCHA, ThreatMetrix, Adscore

Outils de fingerprinting de navigateur pour anonymiser vos scrapers. Développé par Apify.

Une liste organisée de ressources exceptionnelles sur Puppeteer.

Utilitaire CLI pour prendre des captures d'écran de sites web, enregistrer des démonstrations vidéo et scraper des sites en utilisant JavaScript

Framework de web scraping

Aide-mémoire OSINT : liste d'outils, wiki, jeux de données, articles, livres, ressources de red team et conseils en OSINT. Ce dépôt s'enrichit au fil des recherches, des avancées scientifiques et des tutoriels. À utiliser de manière responsable.

Récupère des informations depuis n'importe quel service web ou page.

Navigateur antidétection gratuit pour Playwright : empreinte Firefox headless indétectable. Scraping Python, contournement de recaptcha et de détection de bots. Open source.

Internet-in-a-Box - Construisez votre propre bibliothèque d'Alexandrie avec un Raspberry Pi !

Liste d'outils et de navigateurs anti-détection et d'humanisation, incluant des résolveurs de captcha et des services d'activation par SMS.

Masquez l'IP de vos scrapers derrière le cloud. Provisionnez des serveurs proxy sur différents fournisseurs cloud pour améliorer le taux de réussite de votre scraping.

Dans ce tutoriel, nous montrons comment scraper des données publiques Google avec Python et l'API Oxylabs.

Obtenez des données propres à partir de documents complexes, grâce aux modèles de vision-langage ⚡

AgentQL est une suite d'outils pour connecter votre IA au web. Il propose un langage de requête et des intégrations Playwright pour interagir avec les éléments et extraire des données rapidement, précisément et à grande échelle. Inclut une API REST, des SDK Python et JavaScript, ainsi qu'un débogueur de navigateur.

Collection de correctifs pour puppeteer et playwright afin d'éviter la détection d'automatisation et les fuites. Aide à contourner les pages CAPTCHA de Cloudflare et DataDome. Facile à appliquer ou retirer, activable à la demande.

Scraping automatique de données à partir de sites web HTML en fournissant simplement des exemples.

Journaux officiels brésiliens accessibles à tous

Bot open source de création automatique de comptes Gmail en masse avec Selenium et Seleniumwire (Python). N'hésitez pas à me contacter pour Django/Flask, ML, IA, GPT, automatisation et scraping.

Bibliothèque légère pour le scraping de sites web avec des LLM.

Parsel permet d'extraire des données de documents XML/HTML en utilisant XPath ou des sélecteurs CSS

Regardez tout depuis votre terminal.

Proxies résidentiels rotatifs HTTP(S)/SOCKS5 - exemples de code et informations générales.

Générateur intelligent d'en-têtes et d'empreintes numériques de navigateur.

🚀 Une alternative open source à searx offrant un méta-moteur de recherche moderne, ultra-rapide, respectueux de la vie privée et sécurisé

Framework de service modulaire pour déplacer et transformer des paquets réseau

Outils pour divers juges en ligne. Téléchargement d'exemples, génération de cas de test supplémentaires, test de code et soumission.