crawling

🕷️ Ein adaptives Web-Scraping-Framework, das alles von einer einzelnen Anfrage bis zu einem groß angelegten Crawl behandelt!

Scrapy, ein schneller, hochstufiges Web-Crawling- und Scraping-Framework für Python.

Crawlee—A web scraping and browser automation library for Node.js zur Erstellung zuverlässiger Crawler. In JavaScript und TypeScript. Daten für KI, LLMs, RAG oder GPTs extrahieren. HTML, PDF, JPG, PNG und andere Dateien von Websites herunterladen. Funktioniert mit Puppeteer, Playwright, Cheerio, JSDOM und raw HTTP. Sowohl headful als auch headless-Modus. Mit Proxy-Rotation.

Elegant Scraper und Crawler Framework für Golang

🔥 Die Open-Source-No-Code-Plattform für Web-Scraping, Crawling, Suche und KI-Datenextraktion • Verwandeln Sie Websites in Minuten in strukturierte APIs 🔥

newspaper3k ist ein Tool für Python 3 zum Extrahieren von Nachrichten, Volltexten und Artikelmetadaten. Erweiterte Dokumentation:

Crawlee — Eine Web-Scraping- und Browser-Automatisierungsbibliothek für Python zur Erstellung zuverlässiger Crawler. Extrahieren Sie Daten für KI, LLMs, RAG oder GPTs. Laden Sie HTML, PDF, JPG, PNG und andere Dateien von Websites herunter. Funktioniert mit Parsel, BeautifulSoup, Playwright und nativem HTTP. Sowohl Headful- als auch Headless-Modus. Mit Proxy-Rotation.

Liste von Bibliotheken, Tools und APIs für Web Scraping und Datenverarbeitung.

Ein Chrome DevTools Protocol-Treiber für Web-Automatisierung und Scraping.

Einfacher, schneller Web-Crawler für die einfache und schnelle Erkennung von Endpunkten und Assets in einer Webanwendung

Exa MCP für Websuche und Web-Crawling!

Eine Liste von KI-Agenten und Robotern zum Blockieren.

Headless Chrome .NET API

Nimmt eine Liste von Domains entgegen, durchsucht URLs und scannt nach Endpunkten, Secrets, API-Schlüsseln, Dateiendungen, Token und mehr.

Apache Nutch ist ein erweiterbarer und skalierbarer Web-Crawler

Eine kuratierte Liste fantastischer Puppeteer-Ressourcen.

Web-Scraping-Framework

📅🇨🇳 Chinesische gesetzliche Feiertagsdaten, automatisch täglich aus Bekanntmachungen des Staatsrats abgerufen

Ein Open-Source-Webscraper zum Extrahieren von Daten per Point-and-Click

Das vollständige Web-Scraping-Toolkit für PHP.

Sammlung von Patches für Puppeteer und Playwright zur Vermeidung von Automatisierungserkennung und Leaks. Hilft dabei, Cloudflare- und DataDome-CAPTCHA-Seiten zu umgehen. Einfach zu patchen/entpatchen, bei Bedarf ein- und ausschaltbar.

🤖 Automatisches Scrapen von Daten von HTML-Websites durch einfaches Bereitstellen von Beispielen

Beispielcode für „Work Automation: Finish 6 Months of Work in One Day“ (Saengneung Publishing, 2020). Dieser Code richtet sich an Personen, die noch nie Python gelernt haben, und bietet Beispiele für verschiedene Bereiche der Arbeitsautomatisierung, von Excel über Design und Makros bis hin zu Web Scraping.

Ausführen eines hochpräzisen, browserbasierten Web-Archivierungs-Crawlers in einem einzigen Docker-Container

Crawly, ein High-Level Web-Crawling- und -Scraping-Framework für Elixir.

Skalierbare Python-Web-Scraping-Skripte für mehr als 40 beliebte Domains

Scrapy-Middleware zur Verarbeitung von JavaScript-Seiten mit Selenium

Heute werden wir das Admin-Panel der Website hacken.

SiteOne Crawler ist ein plattformübergreifender Website-Crawler und -Analysator für SEO, Sicherheit, Barrierefreiheit und Leistungsoptimierung – ideal für Entwickler, DevOps, QA-Ingenieure und Berater. Unterstützt Windows, macOS und Linux (x64 und arm64).

HTTP-API für Scrapy-Spider