spider

Un crawler/spider web visuel sans code. YiCaiJi : un logiciel d'automatisation de navigateur, de collecte de données et de web scraping visuel permettant de concevoir et d'exécuter des tâches de scraping sans code. Alias : ServiceWrapper, un système d'encapsulation de services intelligents pour applications Web.

Framework de scraping et de crawling élégant pour Golang

ProxyPool Python pour le web scraping

Douyin_TikTok_Download_API est un outil de scraping asynchrone haute performance prêt à l'emploi pour Douyin, Kuaishou, TikTok et Bilibili, prenant en charge les appels API, l'analyse par lots en ligne et le téléchargement.

Exemples de crawlers Python intéressants et accessibles aux débutants, ciblant notamment Taobao, Tmall, WeChat, WeChat Reading, Douban et QQ.

Crawler extrêmement rapide conçu pour l'OSINT.

Plateforme d'administration de web crawler distribué pour la gestion de spiders, indépendante des langages et des frameworks

Logiciel d'enregistrement de flux en direct avec surveillance cyclique et enregistrement multi-utilisateurs, prenant en charge plus de 40 plateformes dont Douyin, TikTok, Youtube, Kuaishou, Huya, Douyu, Bilibili, Xiaohongshu, Twitch, etc.

Système de gestion de vidéos AV, scrapers pour avmoo, javbus et javlibrary, bibliothèque AV en ligne, base de données de liens magnétiques AV, bibliothèque de vidéos pour adultes japonaises.

INFO-SPIDER est une boîte à outils de scraping regroupant de nombreuses sources de données, conçue pour aider les utilisateurs à récupérer leurs données de manière sécurisée et rapide. Le code est open source et le processus transparent. Il prend en charge GitHub, les services de messagerie (QQ, NetEase, Ali, Sina, Hotmail, Outlook), les plateformes e-commerce (JD, Taobao, Alipay), les opérateurs télécoms, ainsi que divers réseaux sociaux et plateformes de blogs.

Liste de bibliothèques, outils et API pour le web scraping et le traitement de données.

Pholcus est un logiciel de crawling distribué à haute concurrence écrit en pur golang

Une collection de web crawlers et spiders dans différents langages.

Web crawler/spider pour NodeJS avec jQuery côté serveur

Synchronisation en un clic d'articles vers plusieurs plateformes de contenu, incluant Toutiao, WordPress, Zhihu, Jianshu, Juejin, CSDN et typecho. Publiez une fois, diffusez partout pour libérer votre productivité.

Outil OSINT pour le Dark Web

novel-plus est un système CMS de lecture de romans multiplateforme (PC, WAP) complet, incluant des fonctionnalités de recommandation, recherche, classement, lecture, bibliothèque, commentaires, scraping, espace membre, zone auteur, abonnements et gestion de contenu.

feapder est un framework de crawling Python puissant et facile à utiliser. Il propose quatre types de crawlers (AirSpider, Spider, TaskSpider, BatchSpider) pour répondre à divers besoins, incluant la reprise sur erreur, la surveillance, le rendu navigateur et la déduplication de données, avec une gestion facilitée par feaplat.

Chaque site web fournit des API.

Framework de gestion de crawler distribué basé sur Scrapy, Scrapyd, Django et Vue.js

Crawler pour les articles de comptes officiels WeChat

Application web pour la gestion de clusters Scrapyd, l'analyse et la visualisation des logs Scrapy, l'empaquetage automatique, les tâches planifiées, la surveillance, les alertes et une interface mobile.

Gospider - Un robot d'indexation web rapide écrit en Go.

Suppression de filigrane pour vidéos courtes : Douyin, Pipixia, Huoshan, Weishi, Weibo, Oasis, Zuiyou, Qingvideo, Kuaishou, Quanmin Xiaoshipin, Base Film, Momo, Before, Eyepetizer, Vue Vlog, Xiaokaxiu, Pipi Gaoxiao, Quanmin K Ge, Xigua Video, Doupai, Huya, 6 Rooms, Pear Video, New Film, acfun, Meipai...

owllook - moteur de recherche de romans

DecryptLogin : API pour se connecter à certains sites web en utilisant requests.

Geziyor, framework de crawling et de scraping web ultra-rapide pour Go. Supporte le rendu JS.

Tutoriel pratique sur le langage Go, du niveau débutant à avancé, incluant les bibliothèques standard, les modèles de conception, les points de vigilance en entretien et les outils tiers

Le framework de crawling PHP progressif et élégant.

Récupération de données web pour les agents IA et les LLM.