scraper

L'API contextuelle pour rechercher, extraire et interagir avec le Web à grande échelle.

Créez des agents qui surveillent et agissent en votre nom. Vos agents sont prêts !

Un crawler/spider web visuel sans code. YiCaiJi : un logiciel d'automatisation de navigateur, de collecte de données et de web scraping visuel permettant de concevoir et d'exécuter des tâches de scraping sans code. Alias : ServiceWrapper, un système d'encapsulation de services intelligents pour applications Web.

👾 Bibliothèque de téléchargement vidéo rapide et simple et outil CLI écrit en Go.

La bibliothèque rapide, flexible et élégante pour analyser et manipuler le HTML et le XML.

Crawlee — Une bibliothèque de web scraping et d'automatisation de navigateur pour Node.js afin de créer des crawlers fiables. En JavaScript et TypeScript. Extrayez des données pour l'IA, les LLM, le RAG ou les GPT. Téléchargez des fichiers HTML, PDF, JPG, PNG et autres depuis des sites web. Fonctionne avec Puppeteer, Playwright, Cheerio, JSDOM et HTTP brut. Modes avec et sans interface graphique. Avec rotation de proxy.

Framework de scraping et de crawling élégant pour Golang

Douyin_TikTok_Download_API est un outil de scraping asynchrone haute performance prêt à l'emploi pour Douyin, Kuaishou, TikTok et Bilibili, prenant en charge les appels API, l'analyse par lots en ligne et le téléchargement.

La plateforme open-source no-code pour le web scraping, le crawling, la recherche et l'extraction de données par IA • Transformez des sites web en API structurées en quelques minutes

newspaper3k est une bibliothèque Python 3 pour l'extraction d'actualités, de textes complets et de métadonnées d'articles.

Système de gestion de vidéos AV, scrapers pour avmoo, javbus et javlibrary, bibliothèque AV en ligne, base de données de liens magnétiques AV, bibliothèque de vidéos pour adultes japonaises.

Crawlee : une bibliothèque de web scraping et d'automatisation de navigateur pour Python permettant de créer des crawlers fiables. Extrayez des données pour l'IA, les LLM, le RAG ou les GPT. Téléchargez des fichiers HTML, PDF, JPG, PNG et autres depuis des sites web. Compatible avec Parsel, BeautifulSoup, Playwright et HTTP brut. Modes avec ou sans interface graphique, avec rotation de proxy.

Un scraper web intelligent, automatique, rapide et léger pour Python

Une collection de web crawlers et spiders dans différents langages.

Un pilote du protocole Chrome DevTools pour l'automatisation et le scraping web.

Transformez n'importe quelle page web en données structurées à l'aide de LLM

💡 Téléchargez le code source complet de n'importe quel site web (y compris tous les assets : Javascripts, feuilles de style, images) en utilisant Node.js

Analyse des systèmes de protection contre les bots et contre-mesures disponibles. Comment déjouer les systèmes anti-bot et contourner les scripts d'empreinte numérique du navigateur lors du web scraping ?

Outil multifonction pour le scraping et l'extraction de données à partir de ressources en ligne, conçu pour les hackers.

Téléchargeur de vidéos YouTube en JavaScript.

Scraper pour l'API Twitter | Sans clé API | API interne Twitter | Gratuit | Scraper Twitter | Bot Twitter

Une bibliothèque pour extraire les données utilisateur de LinkedIn

Une plateforme communautaire pour lire et discuter avec des bots IA, propulsée par chatGPT.

Scraper pour extraire tous les médias d'un compte OnlyFans, mis à jour régulièrement.

Un scraper Node.js conçu pour les humains.

Un plugin de scraping de films japonais pour Emby/Jellyfin, capable de récupérer des informations sur les films depuis certains sites web.

Prend une liste de domaines, explore les URL et recherche des points de terminaison, des secrets, des clés API, des extensions de fichiers, des jetons et plus encore.

Scraper de métadonnées de films.

Ce script utilise le web-scraping et l'automatisation pour trouver des coupons Udemy et vous inscrire gratuitement à des cours Udemy payants.

Un puissant scraper web propulsé par LLM | OpenAI, Gemini & Ollama