crawler

Projets pratiques de web scraping pour divers sites et e-commerce : Taobao, WeChat, Dazhong Dianpin, Qichacha, sites d'emploi, Xianyu, Alibaba, blogs, Weibo, Baidu Tieba, Douban, etc.

Composants basés sur Redis pour Scrapy.

Analyse des systèmes de protection contre les bots et contre-mesures disponibles. Comment déjouer les systèmes anti-bot et contourner les scripts d'empreinte numérique du navigateur lors du web scraping ?

Outil OSINT pour le Dark Web

Recueil de cas juridiques liés aux web crawlers en Chine. Ce projet compile des actualités, des documents et des réglementations concernant les litiges et infractions des développeurs de crawlers en Chine continentale, visant à aider les professionnels du secteur à comprendre la législation locale et à respecter la conformité des données.

Crawler pour Sina Weibo, utilisant Python pour extraire des données, des images et des vidéos de Weibo.

Une plateforme communautaire pour lire et discuter avec des bots IA, propulsée par chatGPT.

Outil de téléchargement de mangas et de romans pour diverses plateformes, avec conversion au format epub.

Proxy [Finder | Checker | Server]. HTTP(S) et SOCKS

DotnetSpider, une bibliothèque de crawling web .NET standard. Un framework de crawling et de scraping web léger, efficace et rapide.

Pool de proxy intelligent pour les humains afin d'extraire du contenu d'Internet et de construire vos propres grands modèles de langage à l'ère de l'IA

API .NET pour Headless Chrome.

Prend une liste de domaines, explore les URL et recherche des points de terminaison, des secrets, des clés API, des extensions de fichiers, des jetons et plus encore.

Outil tout-en-un pour la collecte d'informations, l'analyse de vulnérabilités et le crawling. Un outil indispensable pour tous les testeurs d'intrusion

feapder est un framework de crawling Python puissant et facile à utiliser. Il propose quatre types de crawlers (AirSpider, Spider, TaskSpider, BatchSpider) pour répondre à divers besoins, incluant la reprise sur erreur, la surveillance, le rendu navigateur et la déduplication de données, avec une gestion facilitée par feaplat.

Scraper de métadonnées de films.

Chaque site web fournit des API.

Un puissant crawler de navigateur pour les scanners de vulnérabilités web.

Gospider - Un robot d'indexation web rapide écrit en Go.

Reconnaissance web tout-en-un

Scraper Node.js pour extraire des données de Google Play.

owllook - moteur de recherche de romans

DecryptLogin : API pour se connecter à certains sites web en utilisant requests.

https://spatie.be/docs/crawler

Geziyor, framework de crawling et de scraping web ultra-rapide pour Go. Supporte le rendu JS.

Videodl : Un téléchargeur de vidéos léger écrit en pur Python, prenant en charge de nombreuses plateformes de streaming.

Le framework de crawling PHP progressif et élégant.

Récupération de données web pour les agents IA et les LLM.

Web crawler léger et facile à utiliser.

news-please - un crawler web et extracteur d'informations pour les actualités, prêt à l'emploi