apify

Crawlee — Une bibliothèque de web scraping et d'automatisation de navigateur pour Node.js afin de créer des crawlers fiables. En JavaScript et TypeScript. Extrayez des données pour l'IA, les LLM, le RAG ou les GPT. Téléchargez des fichiers HTML, PDF, JPG, PNG et autres depuis des sites web. Fonctionne avec Puppeteer, Playwright, Cheerio, JSDOM et HTTP brut. Modes avec et sans interface graphique. Avec rotation de proxy.

Crawlee : une bibliothèque de web scraping et d'automatisation de navigateur pour Python permettant de créer des crawlers fiables. Extrayez des données pour l'IA, les LLM, le RAG ou les GPT. Téléchargez des fichiers HTML, PDF, JPG, PNG et autres depuis des sites web. Compatible avec Parsel, BeautifulSoup, Playwright et HTTP brut. Modes avec ou sans interface graphique, avec rotation de proxy.

Le serveur MCP Apify permet à vos agents IA d'extraire des données des réseaux sociaux, moteurs de recherche, cartes, sites e-commerce ou tout autre site web en utilisant des milliers de scrapers, crawlers et outils d'automatisation disponibles sur l'Apify Store.

Outils de fingerprinting de navigateur pour anonymiser vos scrapers. Développé par Apify.

Collection de compétences pour les agents Apify.

Implémentation Node.js d'un serveur proxy (type Squid) avec prise en charge SSL, HTTP/HTTPS, SOCKS5, authentification et chaînage de proxy amont.

Client HTTP conçu pour le scraping, basé sur got.

Un client CLI universel pour MCP. mcpc prend en charge les sessions persistantes, stdio/HTTP, OAuth 2.1, les tâches, la sortie JSON pour le mode code, le proxy pour les bacs à sable IA, x402, et plus encore.

impit | bibliothèque Rust pour l'usurpation d'identité de navigateur