apify

Crawlee—Pustaka web scraping dan otomatisasi browser untuk Node.js guna membangun crawler yang andal. Tersedia dalam JavaScript dan TypeScript. Ekstrak data untuk AI, LLM, RAG, atau GPT. Unduh HTML, PDF, JPG, PNG, dan file lainnya dari situs web. Mendukung Puppeteer, Playwright, Cheerio, JSDOM, dan HTTP mentah. Mendukung mode headful dan headless, serta rotasi proxy.

Crawlee—Pustaka web scraping dan otomatisasi browser untuk Python guna membangun crawler yang andal. Ekstrak data untuk AI, LLM, RAG, atau GPT. Unduh HTML, PDF, JPG, PNG, dan file lainnya dari situs web. Bekerja dengan Parsel, BeautifulSoup, Playwright, dan HTTP mentah. Mendukung mode headful dan headless. Dengan rotasi proxy.

Server Apify MCP memungkinkan agen AI Anda untuk mengekstrak data dari media sosial, mesin pencari, peta, situs e-commerce, atau situs web lainnya menggunakan ribuan scraper, crawler, dan alat otomatisasi siap pakai yang tersedia di Apify Store.

Alat fingerprinting browser untuk menganonimkan scraper Anda. Dikembangkan oleh Apify.

Koleksi keterampilan agen Apify.

Implementasi Node.js untuk server proxy (seperti Squid) dengan dukungan untuk SSL, HTTP/HTTPS, SOCKS5, autentikasi, dan chaining proxy upstream.

Klien HTTP untuk scraping yang berbasis pada got.

Klien CLI universal untuk MCP. mcpc mendukung sesi persisten, stdio/HTTP, OAuth 2.1, tugas, keluaran JSON untuk mode kode, proksi untuk sandbox AI, x402, dan lainnya.

impit | pustaka Rust untuk penyamaran browser