spider

Framework de web scraping

CrawlerDetect est une classe PHP pour détecter les bots, crawlers et spiders via l'user agent

Téléchargement d'images depuis Google, Bing et Baidu.

Framework de crawler web multiplateforme en C# conçu pour la vitesse et la flexibilité

BlueSky Crawler est un système de scraping open source gratuit. Il permet de collecter des données par simple clic, fonctionne en local, sur hébergement mutualisé ou cloud, supporte presque tous les types de pages web, s'intègre aux CMS et publie les données en temps réel sans intervention humaine.

Framework de crawling web basé sur asyncio.

Présentation du site de liens magnet U3C3 et mise à jour du nom de domaine

Bibliothèque de crawler flexible assistée par IA pour Node.js.

Un scanner d'applications web basé sur Python pour collecter des données OSINT et effectuer du fuzzing sur les vulnérabilités OWASP d'un site web cible.

QQ空间导出助手，用于备份QQ空间的说说、日志、私密日记、相册、视频、留言板、QQ好友、收藏夹、分享、最近访客为文件，便于迁移与保存

Collection de scrapers Python : musique NetEase, vidéos Bilibili, questions Zhihu, fonds d'écran, vidéos xvideos, livres audio, Weibo, données Anjuke avec visualisation, extracteur de miniatures Bilibili, pool de proxys IP, et analyse de données utilisateurs Zhihu.

Web crawler pour archivistes : sortie au format WARC, tableau de bord pour tous les crawls et modèles d'exclusion dynamiques.

Crawler Douyin : collecte de données publiques telles que les pages de profil, les likes, les favoris, les pistes audio, les hashtags, les recherches, les collections, les publications, les abonnements et les abonnés.

Compilation d'articles remarquables sur le reverse engineering, à consulter.

Partage de code de scraping, rétro-ingénierie JS et techniques avancées de scraping. Suivez le compte officiel : K哥爬虫.

Journaux officiels brésiliens accessibles à tous

La boîte à outils de référence pour l'audit et l'exploitation des failles CSRF (Cross Site Request Forgery).

Outil de téléchargement pour récupérer des livres numériques sur Internet.

Scraper pour BOSS Zhipin : outil d'extraction de données d'emploi utilisant le protocole Chrome CDP pour réutiliser les sessions authentifiées, contourner les protections par police de caractères et exporter les salaires en JSON/CSV avec analyse des compétences.

Beanbun est un framework de web scraping multi-processus écrit en PHP, basé sur Workerman, offrant une grande ouverture et une haute extensibilité.

50 notes sur les grands modèles de langage (LLM). Ce dépôt contient des projets pratiques dans les domaines du machine learning, du deep learning, de la vision par ordinateur, du traitement du langage naturel, des LLM et du web scraping.

Crawly, un framework de crawling et de scraping web de haut niveau pour Elixir.

OneBlog : un blog Java simple, esthétique, puissant et adaptatif.

Crawler pour les articles de comptes officiels WeChat

Scripts de web scraping Python évolutifs pour plus de 40 domaines populaires

Ingénierie inverse et décryptage de paramètres JS anti-scraping : inclut le support pour GeeTest, QQ Music, Pinduoduo, Boss Zhipin, Zhihu, Kugou, Vipshop, China Judgements Online, Taobao, Tianan Insurance, Bilibili, Fang.com, WPS, Weibo, Youdao, NetEase, WeChat, Kongzhong, Jingou, systèmes de gestion scolaire, etc.

Suppression de filigrane pour vidéos courtes en Golang : Douyin, Pipixia, Huoshan, Weishi, Zuiyou, Kuaishou, Quanmin, Pipigaoxiao, Xigua, Huya, Pear Video, AcFun, Haokan, etc.

Téléchargement et scraping de romans, prise en charge de Qidian et Biquge, exportation vers Markdown ou txt, conversion en epub, filtrage publicitaire et correction automatique.

Un robot d'indexation web configurable avec une console web facile à utiliser.

Releases, wiki et roadmap de SpiderSuite (crawler de sécurité web)