crawler

L'API contextuelle pour rechercher, extraire et interagir avec le Web à grande échelle.

🕷️ Un framework de web scraping adaptatif qui gère tout, d'une simple requête à un crawl à grande échelle !

Scrapy, un framework de crawling et de scraping web rapide et de haut niveau pour Python.

Un crawler/spider web visuel sans code. YiCaiJi : un logiciel d'automatisation de navigateur, de collecte de données et de web scraping visuel permettant de concevoir et d'exécuter des tâches de scraping sans code. Alias : ServiceWrapper, un système d'encapsulation de services intelligents pour applications Web.

👾 Bibliothèque de téléchargement vidéo rapide et simple et outil CLI écrit en Go.

Scraper Python basé sur l'IA.

Bot open source de candidature à des emplois en Python : automatisation de navigateur et web scraping pour lire les offres, puis candidature automatique avec un CV et une lettre de motivation personnalisés pour chaque poste.

Crawlee — Une bibliothèque de web scraping et d'automatisation de navigateur pour Node.js afin de créer des crawlers fiables. En JavaScript et TypeScript. Extrayez des données pour l'IA, les LLM, le RAG ou les GPT. Téléchargez des fichiers HTML, PDF, JPG, PNG et autres depuis des sites web. Fonctionne avec Puppeteer, Playwright, Cheerio, JSDOM et HTTP brut. Modes avec et sans interface graphique. Avec rotation de proxy.

Framework de scraping et de crawling élégant pour Golang

ProxyPool Python pour le web scraping

Douyin_TikTok_Download_API est un outil de scraping asynchrone haute performance prêt à l'emploi pour Douyin, Kuaishou, TikTok et Bilibili, prenant en charge les appels API, l'analyse par lots en ligne et le téléchargement.

Un framework de crawling et de spidering de nouvelle génération.

La plateforme open-source no-code pour le web scraping, le crawling, la recherche et l'extraction de données par IA • Transformez des sites web en API structurées en quelques minutes

newspaper3k est une bibliothèque Python 3 pour l'extraction d'actualités, de textes complets et de métadonnées d'articles.

Exemples de crawlers Python intéressants et accessibles aux débutants, ciblant notamment Taobao, Tmall, WeChat, WeChat Reading, Douban et QQ.

Crawler extrêmement rapide conçu pour l'OSINT.

Plateforme d'administration de web crawler distribué pour la gestion de spiders, indépendante des langages et des frameworks

Un framework de crawler web évolutif pour Java.

Scripts Python pour la connexion simulée à Zhihu, le web scraping, l'automatisation Excel, les comptes officiels WeChat et le démarrage à distance.

Système de gestion de vidéos AV, scrapers pour avmoo, javbus et javlibrary, bibliothèque AV en ligne, base de données de liens magnétiques AV, bibliothèque de vidéos pour adultes japonaises.

Crawlee : une bibliothèque de web scraping et d'automatisation de navigateur pour Python permettant de créer des crawlers fiables. Extrayez des données pour l'IA, les LLM, le RAG ou les GPT. Téléchargez des fichiers HTML, PDF, JPG, PNG et autres depuis des sites web. Compatible avec Parsel, BeautifulSoup, Playwright et HTTP brut. Modes avec ou sans interface graphique, avec rotation de proxy.

Agent intelligent d'acquisition de clients via les médias sociaux, conçu pour les OPC et les PME

Liste de bibliothèques, outils et API pour le web scraping et le traitement de données.

Un scraper web intelligent, automatique, rapide et léger pour Python

Une collection de web crawlers et spiders dans différents langages.

API Python pour JMComic | Fournit une API Python pour accéder à JMComic, avec prise en charge des versions web et mobile | Téléchargeur GitHub Actions pour JMComic 🚀

Pydoll est une bibliothèque d'automatisation pour navigateurs basés sur Chromium sans WebDriver, offrant des interactions réalistes.

Web crawler/spider pour NodeJS avec jQuery côté serveur

Outil Python et en ligne de commande pour collecter du texte et des métadonnées sur le Web : crawling, scraping, extraction, avec sortie en CSV, JSON, HTML, MD, TXT, XML.

Interface de crawler pour comptes publics WeChat basée sur la recherche Sogou WeChat.