crawler

Compilation d'articles remarquables sur le reverse engineering, à consulter.

Scraping automatique de données à partir de sites web HTML en fournissant simplement des exemples.

Partage de code de scraping, rétro-ingénierie JS et techniques avancées de scraping. Suivez le compte officiel : K哥爬虫.

Crawler/scraper web Ruby léger doté d'un DSL élégant pour extraire des données structurées à partir de pages web.

La boîte à outils de référence pour l'audit et l'exploitation des failles CSRF (Cross Site Request Forgery).

Le scanner de dorks le plus rapide écrit en Go.

Extraction rapide d'informations (abonnés, tags, etc.) d'un profil Instagram.

Scraper pour BOSS Zhipin : outil d'extraction de données d'emploi utilisant le protocole Chrome CDP pour réutiliser les sessions authentifiées, contourner les protections par police de caractères et exporter les salaires en JSON/CSV avec analyse des compétences.

Beanbun est un framework de web scraping multi-processus écrit en PHP, basé sur Workerman, offrant une grande ouverture et une haute extensibilité.

Un téléchargeur de mangas Bilibili efficace avec interface graphique, recherche par mots-clés, connexion par QR code, téléchargement de chapitres verrouillés, multi-threading, formats multiples, gestion locale et mise à jour en un clic.

Outil d'exploration automatique d'applications basé sur Appium.

Téléchargez facilement toutes les photos et vidéos des blogs Tumblr.

Newspaper4k, un fork du célèbre Newspaper3k. Extraction d'articles, de titres et de métadonnées depuis des sites d'actualités.

Serveur de recherche d'entreprise et de site open-source auto-hébergé basé sur OpenSearch. Indexe le web, les fichiers, les bases de données et les sources cloud, supporte plus de 20 langues, API REST, recherche sémantique et IA/RAG. Licence Apache-2.0.

Exécutez un crawler d'archivage web haute fidélité basé sur un navigateur dans un conteneur Docker unique.

Crawly, un framework de crawling et de scraping web de haut niveau pour Elixir.

Créez des web scrapers en Ruby en utilisant un DSL propre assisté par IA. Kimurai utilise l'IA pour localiser les données, met en cache les sélecteurs et effectue le scraping en Ruby pur. Bénéficiez de l'intelligence d'un LLM sans la latence par requête ni les coûts de jetons.

Scripts de web scraping Python évolutifs pour plus de 40 domaines populaires

Suppression de filigrane pour vidéos courtes en Golang : Douyin, Pipixia, Huoshan, Weishi, Zuiyou, Kuaishou, Quanmin, Pipigaoxiao, Xigua, Huya, Pear Video, AcFun, Haokan, etc.

Téléchargement et scraping de romans, prise en charge de Qidian et Biquge, exportation vers Markdown ou txt, conversion en epub, filtrage publicitaire et correction automatique.

Un client HTTP Rust ergonomique et respectueux de la vie privée

Scraper pour Google Play en Python inspiré par <facundoolano/google-play-scraper>.

Un outil pour pixiv.net. Un crawler P站 accessible à tous.

Un crawler web évolutif, mature et polyvalent basé sur Apache Storm.

Releases, wiki et roadmap de SpiderSuite (crawler de sécurité web)

Un crawler / scraper web haute performance en Elixir.

Alternative rapide et légère de Firecrawl/Tavily en Rust. Web scraper, crawler & API de recherche avec serveur MCP pour agents IA. API compatible Firecrawl en drop-in (/scrape, /crawl, /search). 2,3 fois plus rapide que Tavily, 1,5 fois plus rapide que Firecrawl dans les benchmarks 1K-URL. 6 Mo de RAM, binaire unique. Héberger soi-même ou utiliser le cloud géré.

Outils de protocole en pur Python et notes de recherche pour X.com, incluant des jeux de données de comptes Twitter VibeLoft.

Framework de crawler multi-thread avec de nombreux crawlers d'images intégrés.

ChatWeb peut explorer des pages web, lire des fichiers PDF, DOCX, TXT, en extraire le contenu principal, puis répondre à vos questions ou résumer les points clés.