web-scraping

Bibliothèque Python pour l'analyse Finviz

Cours de science des données 2015 de General Assembly à Washington, DC

Scrapez des tweets, profils, abonnés et abonnements depuis Twitter/X, sans clé API nécessaire. Bibliothèque Python avec regroupement intelligent de comptes multiples, support de proxy et asynchrone.

AI Map est un outil de cartographie de site web propulsé par l'IA d'Oxylabs AI Studio, utilisant des invites en langage naturel pour découvrir et extraire intelligemment des URL pertinentes depuis n'importe quel site web.

Outil CLI pour enregistrer une copie fidèle d'une page Web complète dans un seul fichier HTML (basé sur SingleFile)

Web scraping simple pour R.

Version Python indétectable de la bibliothèque de test et d'automatisation Playwright.

❤️ Fredy - [F]ind [R]eal [E]state [D]amn Eas[y] - Fredy recherche en continu de nouveaux appartements et maisons en Europe sur des plateformes comme ImmoScout24, Immowelt, eBay Kleinanzeigen et vous transmet instantanément les résultats via Slack, Telegram, Email, Discord ou ntfy, pour que vous puissiez vous concentrer sur l'essentiel ;)

La boîte à outils complète de web scraping pour PHP.

AgentQL est une suite d'outils pour connecter votre IA au web. Il propose un langage de requête et des intégrations Playwright pour interagir avec les éléments et extraire des données rapidement, précisément et à grande échelle. Inclut une API REST, des SDK Python et JavaScript, ainsi qu'un débogueur de navigateur.

Un client HTTP Python ergonomique et respectueux de la vie privée.

Collection de correctifs pour puppeteer et playwright afin d'éviter la détection d'automatisation et les fuites. Aide à contourner les pages CAPTCHA de Cloudflare et DataDome. Facile à appliquer ou retirer, activable à la demande.

Utilisez l'API Web Scraper pour extraire des données de Google Finance, y compris les titres d'actions, les prix et les variations en pourcentage.

Plateforme de surveillance web basée sur l'IA. Créez des agents automatisés qui parcourent le web et envoient des alertes par e-mail lorsqu'ils trouvent ce que vous recherchez.

API SERP auto-hébergée pour l'IA, le SEO et l'automatisation. Recherche Google, Bing, Yandex, Baidu, DuckDuckGo et Ecosia rendue par navigateur avec extraction de page.

WebAI2API : outil de conversion d'IA web en API basé sur Camoufox, prenant en charge LMArena/Gemini, avec gestion de la concurrence multi-fenêtres et isolation des comptes.

Client HTTP Go avec empreinte TLS/HTTP2 identique à celle des navigateurs. Contourne la détection de bots en imitant parfaitement Chrome, Firefox et Safari au niveau cryptographique (JA3/JA4, empreinte Akamai, ordre des en-têtes). Prend en charge HTTP/1.1, HTTP/2, HTTP/3, les sessions, les cookies et les proxys.

Proxies résidentiels rotatifs HTTP(S)/SOCKS5 - exemples de code et informations générales.

Une bibliothèque JavaScript pour générer des user agents aléatoires avec des données mises à jour quotidiennement.

Piéger les scrapers web IA dans un puits sans fin de données corrompues.

Requêtes plus rapides sur Python 3.

L'agent qui transforme les sites web en API !

Créez des web scrapers en Ruby en utilisant un DSL propre assisté par IA. Kimurai utilise l'IA pour localiser les données, met en cache les sélecteurs et effectue le scraping en Ruby pur. Bénéficiez de l'intelligence d'un LLM sans la latence par requête ni les coûts de jetons.

Scripts de web scraping Python évolutifs pour plus de 40 domaines populaires

Une liste organisée de ressources, outils, compétences, tutoriels et articles sur OpenClaw. OpenClaw (anciennement Moltbot / Clawdbot) est un agent IA open-source auto-hébergé pour WhatsApp, Telegram, Discord et plus de 50 intégrations.

Lanceur de navigateur anti-détection gratuit et open source pour le web scraping et la gestion multi-comptes. Par l'équipe ProxyShard. Falsification d'empreintes au niveau du moteur dans Chromium 148 (WebGL / WebGPU / Client Hints / polices / TLS), plus de 170 profils d'appareils intégrés, QUIC stable + WebRTC sur SOCKS5.

Alternative rapide et légère de Firecrawl/Tavily en Rust. Web scraper, crawler & API de recherche avec serveur MCP pour agents IA. API compatible Firecrawl en drop-in (/scrape, /crawl, /search). 2,3 fois plus rapide que Tavily, 1,5 fois plus rapide que Firecrawl dans les benchmarks 1K-URL. 6 Mo de RAM, binaire unique. Héberger soi-même ou utiliser le cloud géré.

Serveur MCP de lecture de contenu universel pour plus de 10 plateformes

Collectez des réponses structurées à partir d'un scraper ChatGPT en envoyant un prompt avec des identifiants d'API de scraping ChatGPT valides. Permet la recherche en direct, l'injection de contexte HTML et l'automatisation de workflows de scraping ChatGPT intelligents en quelques paramètres.

Compétences d'agent officielles des produits Oxylabs