crawler

Prompts GPTs ayant fuité pour contourner la limite de 25 messages ou pour essayer des GPTs sans abonnement Plus.

Framework de web scraping

CrawlerDetect est une classe PHP pour détecter les bots, crawlers et spiders via l'user agent

Framework de crawler web multiplateforme en C# conçu pour la vitesse et la flexibilité

Website Cloner - Utilise de puissantes routines Go pour cloner des sites web sur votre ordinateur en quelques secondes.

Téléchargeur de médias depuis divers sites, incluant Twitter, Reddit, Instagram, BlueSky, TikTok, Threads, Facebook, OnlyFans, YouTube, Pinterest, PornHub, XHamster, XVIDEOS, ThisVid, etc.

Transformer le contenu web en données prêtes pour les LLM

BlueSky Crawler est un système de scraping open source gratuit. Il permet de collecter des données par simple clic, fonctionne en local, sur hébergement mutualisé ou cloud, supporte presque tous les types de pages web, s'intègre aux CMS et publie les données en temps réel sans intervention humaine.

Framework de crawling web basé sur asyncio.

Collection d'exemples de scrapers. Inclut, sans s'y limiter : Taobao, JD, Tmall, Douban, Douyin, Kuaishou, Weibo, WeChat, Alibaba, Toutiao, PDD, Youku, iQIYI, Ctrip, 12306, 58, Sohu, divers indices, Weipu, Wanfang, Zlibrary, Oalib, romans, sites d'appels d'offres, sites d'achats, Xiaohongshu, Dianping, Twitter, Maimai, Zhihu.

Navigateur antidétection gratuit pour Playwright : empreinte Firefox headless indétectable. Scraping Python, contournement de recaptcha et de détection de bots. Open source.

Bibliothèque principale de NewPipe pour l'extraction de données depuis des sites de streaming

Solution d'exploration de la mémoire du navigateur (en cours d'exploration...).

Présentation du site de liens magnet U3C3 et mise à jour du nom de domaine

Bibliothèque de crawler flexible assistée par IA pour Node.js.

Surveillance, collecte et transfert de contenu multiplateforme via un panneau Web pour gérer Douyin, Xiaohongshu et Kuaishou.

Diskover Community Edition - Indexeur de fichiers, moteur de recherche de fichiers et outil de gestion et d'analyse de données open source propulsé par Elasticsearch

Web crawler d'images multiprocessus pour Google et Naver (Selenium)

Liaison Python pour les moteurs Modest et Lexbor. Analyseur HTML5 rapide avec sélecteurs CSS pour Python.

Collection de scrapers Python : musique NetEase, vidéos Bilibili, questions Zhihu, fonds d'écran, vidéos xvideos, livres audio, Weibo, données Anjuke avec visualisation, extracteur de miniatures Bilibili, pool de proxys IP, et analyse de données utilisateurs Zhihu.

Web crawler pour archivistes : sortie au format WARC, tableau de bord pour tous les crawls et modèles d'exclusion dynamiques.

Crawler Douyin : collecte de données publiques telles que les pages de profil, les likes, les favoris, les pistes audio, les hashtags, les recherches, les collections, les publications, les abonnements et les abonnés.

ScopeSentry - Cartographie du cyberespace, énumération de sous-domaines, scan de ports, découverte d'informations sensibles, scan de vulnérabilités, nœuds distribués

Outil CLI pour enregistrer une copie fidèle d'une page Web complète dans un seul fichier HTML (basé sur SingleFile)

❤️ Fredy - [F]ind [R]eal [E]state [D]amn Eas[y] - Fredy recherche en continu de nouveaux appartements et maisons en Europe sur des plateformes comme ImmoScout24, Immowelt, eBay Kleinanzeigen et vous transmet instantanément les résultats via Slack, Telegram, Email, Discord ou ntfy, pour que vous puissiez vous concentrer sur l'essentiel ;)

Explorateur de système de fichiers pour Elasticsearch (FS Crawler)

Un client HTTP Python ergonomique et respectueux de la vie privée.

Outil de collecte de données pour Xiaohongshu, permettant le téléchargement par lots d'images et de vidéos depuis le site web.

Collection de correctifs pour puppeteer et playwright afin d'éviter la détection d'automatisation et les fuites. Aide à contourner les pages CAPTCHA de Cloudflare et DataDome. Facile à appliquer ou retirer, activable à la demande.

Un framework de mesure de la confidentialité sur le web.