crawler

Exemples de reverse engineering pour le web scraping, incluant : empreinte TLS |瑞数 | Zhenkunhang | NetEase Yidun | décompilation et reverse engineering de mini-programmes WeChat (Baidaxingxi) | Tonghuashun | déchiffrement RPC | Jiasule | captcha slider Geetest | Ocean Engine | Boss Zhipin | Qichacha | China Minmetals | QQ Music | plateforme de données sur les politiques industrielles | Qizhidao | Xueqiu (acw_sc__v2) | 1688 | Qimai Data | whggzy | Qiming Technology | mohurd | EntGroup | OKLink.

SiteOne Crawler est un outil multiplateforme d'exploration et d'analyse de sites web pour le SEO, la sécurité, l'accessibilité et l'optimisation des performances. Idéal pour les développeurs, DevOps, ingénieurs QA et consultants. Supporte Windows, macOS et Linux (x64 et arm64).

API HTTP pour les spiders Scrapy

API haute performance asynchrone pour la résolution de CAPTCHA et les e-mails temporaires pour Douyin, TikTok, Xiaohongshu, Kuaishou, Weibo, Instagram, YouTube, Twitter (X)

Bibliothèque de test, de scraping et d'analyse basée sur Kotlin, permettant d'extraire des données de pages HTML (rendues côté serveur ou client). Elle met l'accent sur la facilité d'utilisation et la lisibilité grâce à un DSL intuitif. Conçue comme bibliothèque de test, elle peut également servir au scraping de sites web.

ArrowDL (Arrow Downloader) est un gestionnaire de téléchargement pour Windows, MacOS et Linux.

Une bibliothèque de web crawling polyvalente en Ruby capable d'explorer un site, plusieurs domaines, des liens spécifiques ou à l'infini. Spidr est conçu pour être rapide et facile à utiliser.

Outil de rétro-ingénierie IA tout-en-un

Code de tutoriel simple mais utile pour le web scraping en Python.

API Java pour Chrome et Firefox

Téléchargeur de Doujinshi.

Outil de rétro-ingénierie pour cookies JS : outil de visualisation du suivi des changements de cookies JS et points d'arrêt conditionnels par hook.

Outil d'audit SEO open-source.

Scraper de profils LinkedIn retournant des données structurées au format JSON

Dépôt de code pour le livre "Pratique avancée de l'ingénierie inverse pour le web scraping"

Un framework de crawler web léger.

The Big Brother V6.0 est une plateforme OSINT militarisée comprenant l'énumération de noms d'utilisateur (plus de 473 plateformes), une intelligence visuelle à quatre vecteurs, le suivi Sky Radar, l'analyse de portefeuilles crypto, l'intelligence SSL, la reconstruction d'empreinte numérique, l'extraction EXIF, le dorking avancé et la reconnaissance réseau.

Laissez ChatGPT résumer Hacker News pour vous.

Application de sauvegarde pour blogs Tumblr et Twitter

La meilleure bibliothèque pour PTT

Wscan est un scanner de sécurité Web axé sur la sécurité Web, visant à la rendre accessible à tous.

Recherchez google, bing, yahoo et d'autres moteurs de recherche avec python

Dépôt officiel pour "Craw4LLM: Crawling web efficace pour le pré-entraînement des LLM"

NetDiscovery est un framework/middleware de web scraping universel basé sur des frameworks tels que Vert.x et RxJava 2.

Krawl est un serveur de duperie web et anti-robot léger, personnalisable et natif pour le cloud, qui crée de fausses applications web présentant des vulnérabilités faciles à exploiter à l'aide de données leurres réalistes générées aléatoirement et de modèles HTML générés par IA.

Sauvegarde localement des pages web sur votre disque dur avec les images, CSS, JS et liens tels quels.

Moodle-DL télécharge rapidement le contenu des cours depuis Moodle (par ex. les PDF de cours)

Jie est un outil complet d'évaluation et d'exploitation de la sécurité conçu pour les applications web. Son ensemble robuste de fonctionnalités comprend l'analyse des vulnérabilités, la collecte d'informations et l'exploitation, en faisant un kit d'outils indispensable pour les professionnels de la sécurité et les testeurs d'intrusion. Outil d'assistance au bug bounty (analyse de vulnérabilités, collecte d'informations)

Un framework de crawling et scraping web de haut niveau et fiable pour Node.js.

Infrastructure web open source pour l'IA. Extrayez, explorez et automatisez le web, du markdown propre, des sessions de navigateur, prêts pour vos agents.