scraper

Newspaper4k, un fork du célèbre Newspaper3k. Extraction d'articles, de titres et de métadonnées depuis des sites d'actualités.

Crawly, un framework de crawling et de scraping web de haut niveau pour Elixir.

Créez des web scrapers en Ruby en utilisant un DSL propre assisté par IA. Kimurai utilise l'IA pour localiser les données, met en cache les sélecteurs et effectue le scraping en Ruby pur. Bénéficiez de l'intelligence d'un LLM sans la latence par requête ni les coûts de jetons.

Scripts de web scraping Python évolutifs pour plus de 40 domaines populaires

API PHP+REST non officielle pour MyAnimeList offrant des fonctionnalités absentes de l'API officielle

Universal Reddit Scraper - Un outil en ligne de commande complet pour le scraping et l'archivage de Reddit.

Un gestionnaire complet pour organiser les ressources informatiques avec des éléments de gamification

Un client HTTP Rust ergonomique et respectueux de la vie privée

Scraper pour Google Play en Python inspiré par <facundoolano/google-play-scraper>.

Le tout premier outil pour consulter anonymement des publications Instagram privées

Un crawler / scraper web haute performance en Elixir.

Récupérer des tweets, réponses, timelines et articles X/Twitter sans connexion ni clés API — outil de terrain pour agents IA.

API HTTP pour les spiders Scrapy

Bibliothèque de test, de scraping et d'analyse basée sur Kotlin, permettant d'extraire des données de pages HTML (rendues côté serveur ou client). Elle met l'accent sur la facilité d'utilisation et la lisibilité grâce à un DSL intuitif. Conçue comme bibliothèque de test, elle peut également servir au scraping de sites web.

Outil en ligne de commande pour télécharger et extraire des données de pages HTML/XML ou d'API JSON, en utilisant CSS, XPath 3.0, XQuery 3.0, JSONiq ou la correspondance de motifs. Il peut également créer ou transformer des documents XML/HTML/JSON.

Créez un fichier ZIM à partir de n'importe quel site web et naviguez hors ligne !

Un téléchargeur polyvalent de galeries d'images et de doujinshi.

Convertit certains webnovels au format epub.

Une bibliothèque de web crawling polyvalente en Ruby capable d'explorer un site, plusieurs domaines, des liens spécifiques ou à l'infini. Spidr est conçu pour être rapide et facile à utiliser.

API Java pour Chrome et Firefox

Une base de données ouverte de données sur les sanctions internationales, les personnes d'intérêt et les personnes politiquement exposées

Moteur de scraping auto-hébergé — contourne tous les défis JS et captchas : Cloudflare, Turnstile, reCAPTCHA, hCaptcha, GeeTest. Alternative à FlareSolverr & Byparr et remplacement direct pour votre suite *arr.

Scraper de profils LinkedIn retournant des données structurées au format JSON

operative framework est un framework OSINT d'investigation écrit en Rust, permettant d'interagir avec plusieurs cibles, d'exécuter divers modules, de créer des liens avec des cibles, d'exporter des rapports en PDF, d'ajouter des notes, d'interagir avec une API RESTful et de créer ses propres modules.

Suivi de prix multi-utilisateurs auto-hébergé pour Amazon, Aliexpress, eBay et bien d'autres, incluant des boutiques personnalisées. Recevez des notifications lorsque le prix correspond à un ou plusieurs critères définis par l'utilisateur.

Package Python pour le scraping de données immobilières.

L'outil OSINT Slash

Une bibliothèque Scala pour extraire du contenu à partir de pages HTML

Une liste de scrapers collectés sur le Web.

Documentation de l'API interne de Twitter