spider

Un crawler / scraper web haute performance en Elixir.

Framework de crawler multi-thread avec de nombreux crawlers d'images intégrés.

Exemples de reverse engineering pour le web scraping, incluant : empreinte TLS |瑞数 | Zhenkunhang | NetEase Yidun | décompilation et reverse engineering de mini-programmes WeChat (Baidaxingxi) | Tonghuashun | déchiffrement RPC | Jiasule | captcha slider Geetest | Ocean Engine | Boss Zhipin | Qichacha | China Minmetals | QQ Music | plateforme de données sur les politiques industrielles | Qizhidao | Xueqiu (acw_sc__v2) | 1688 | Qimai Data | whggzy | Qiming Technology | mohurd | EntGroup | OKLink.

Un crawler boursier Java basé sur Spring Boot (supportant uniquement les actions A). Version V2 en cours de développement.

Une bibliothèque de web crawling polyvalente en Ruby capable d'explorer un site, plusieurs domaines, des liens spécifiques ou à l'infini. Spidr est conçu pour être rapide et facile à utiliser.

Un ensemble de spiders et de scrapers pour extraire des informations de localisation à partir de sites publiant leur emplacement sur Internet.

Plugin de source/métadonnées pour Calibre basé sur la recherche ISBN de la Bibliothèque nationale de Chine.

Un framework de test d'intrusion, un outil de collecte d'informations et un scanner de vulnérabilités de sites web.

Scraper de profils LinkedIn retournant des données structurées au format JSON

Un framework de crawler web léger.

Laissez ChatGPT résumer Hacker News pour vous.

Signal 18 repman - Gestionnaire de réplication pour MySQL, MariaDB et Percona Server

Empacheteur de light novels, récupérant le contenu des sites de light novels (bilinovel.com linovelib.com) pour le formater en EPUB, avec prise en charge des couvertures, illustrations, tables des matières et fusion de volumes.

Script Python de suppression de filigrane pour les vidéos courtes : 抖音,皮皮虾,火山,微视,最右,快手,全民小视频,皮皮搞笑,西瓜视频,虎牙,梨视频,acfun,好看视频...

Projet open source d'entreprise de collecte de nouvelles sur l'opinion publique, très dur : prend en charge un nombre quelconque de crawlers exécutés d'un clic, tâches planifiées de crawlers, suppression en lot de crawlers ; déploiement d'un clic de crawlers ; visualisation de la surveillance des crawlers ; configuration de la stratégie d'affectation des crawlers dans un cluster ; 👉 la documentation d'un déploiement d'un clic avec Docker a déjà été testée pour vous.

Dépôt de scrapers pour films et CatVideo

L'idée et l'expérience de la rétro-ingénierie des paramètres d'application, ingénierie inverse Android

NetDiscovery est un framework/middleware de web scraping universel basé sur des frameworks tels que Vert.x et RxJava 2.

Krawl est un serveur de duperie web et anti-robot léger, personnalisable et natif pour le cloud, qui crée de fausses applications web présentant des vulnérabilités faciles à exploiter à l'aide de données leurres réalistes générées aléatoirement et de modèles HTML générés par IA.

Projet de questionnaire, recommandations de serveurs cloud, projets inactifs, proxys gratuits et collection de divers scripts.

spider-admin-pro, un outil de gestion visuelle combinant l'affichage de projets de web scraping Scrapy/Scrapyd et la planification de tâches de scraping, version mise à jour de SpiderAdmin

Script Python 3 pour extraire et récupérer les employés d'entreprise depuis l'API LinkedIn

Un framework de crawling et scraping web de haut niveau et fiable pour Node.js.

FreeProxy : Collecte de proxies gratuits sur Internet. Supporte le scraping de dizaines de sources, le filtrage personnalisé, idéal pour le web scraping et l'analyse de données, avec mises à jour quotidiennes.

Logiciel de visualisation et d'analyse des données des commentaires Bilibili, permettant aux créateurs d'orienter leurs choix de sujets et de mieux cerner leur audience.