apify

Crawlee—A web scraping and browser automation library for Node.js zur Erstellung zuverlässiger Crawler. In JavaScript und TypeScript. Daten für KI, LLMs, RAG oder GPTs extrahieren. HTML, PDF, JPG, PNG und andere Dateien von Websites herunterladen. Funktioniert mit Puppeteer, Playwright, Cheerio, JSDOM und raw HTTP. Sowohl headful als auch headless-Modus. Mit Proxy-Rotation.

Crawlee — Eine Web-Scraping- und Browser-Automatisierungsbibliothek für Python zur Erstellung zuverlässiger Crawler. Extrahieren Sie Daten für KI, LLMs, RAG oder GPTs. Laden Sie HTML, PDF, JPG, PNG und andere Dateien von Websites herunter. Funktioniert mit Parsel, BeautifulSoup, Playwright und nativem HTTP. Sowohl Headful- als auch Headless-Modus. Mit Proxy-Rotation.

Der Apify MCP-Server ermöglicht Ihren KI-Agenten, Daten von Social Media, Suchmaschinen, Karten, E-Commerce-Seiten oder jeder anderen Website zu extrahieren, unter Verwendung tausender vorgefertigter Scraper, Crawler und Automatisierungstools aus dem Apify Store.

Browser-Fingerprinting-Tools zur Anonymisierung Ihrer Scraper. Entwickelt von Apify.

Sammlung von Apify-Agenten-Fähigkeiten

Node.js-Implementierung eines Proxyservers (ähnlich wie Squid) mit Unterstützung für SSL, HTTP/HTTPS, SOCKS5, Authentifizierung und Upstream-Proxy-Chaining.

HTTP-Client für Scraping, basierend auf got.

Ein universeller CLI-Client für MCP. mcpc unterstützt persistente Sitzungen, stdio/HTTP, OAuth 2.1, Tasks, JSON-Ausgabe für den Code-Modus, Proxy für KI-Sandboxes, x402 und mehr.

impit | Rust-Bibliothek für Browser-Impersonation