scraping

Die Context API zum Suchen, Scrapen und Interagieren mit dem Web auf großer Skalierung. 🔥

🕷️ Ein adaptives Web-Scraping-Framework, das alles von einer einzelnen Anfrage bis zu einem groß angelegten Crawl behandelt!

Scrapy, ein schneller, hochstufiges Web-Crawling- und Scraping-Framework für Python.

🕵️‍♂️ Erstelle ein Dossier zu einer Person anhand des Benutzernamens von über 3000 Websites.

Python‑Scraper basierend auf KI

Open‑Source‑KI‑Bewerbungs‑Bot in Python: Browser‑Automatisierung und Web‑Scraping zum Lesen von Stellenanzeigen, dann automatisches Bewerben mit einem zugeschnittenen Lebenslauf und Anschreiben für jede Anzeige.

Crawlee—A web scraping and browser automation library for Node.js zur Erstellung zuverlässiger Crawler. In JavaScript und TypeScript. Daten für KI, LLMs, RAG oder GPTs extrahieren. HTML, PDF, JPG, PNG und andere Dateien von Websites herunterladen. Funktioniert mit Puppeteer, Playwright, Cheerio, JSDOM und raw HTTP. Sowohl headful als auch headless-Modus. Mit Proxy-Rotation.

Elegant Scraper und Crawler Framework für Golang

Pythonisches HTML-Parsing für Menschen™

Benutzerdefinierter Selenium Chromedriver | Zero-Config | Umgeht ALLE Bot-Schutzsysteme (wie Distil / Imperva / Datadome / CloudFlare IUAM)

Ein skalierbares Web-Crawler-Framework für Java.

🦊 Anti-Detect-Browser

Crawlee — Eine Web-Scraping- und Browser-Automatisierungsbibliothek für Python zur Erstellung zuverlässiger Crawler. Extrahieren Sie Daten für KI, LLMs, RAG oder GPTs. Laden Sie HTML, PDF, JPG, PNG und andere Dateien von Websites herunter. Funktioniert mit Parsel, BeautifulSoup, Playwright und nativem HTTP. Sowohl Headful- als auch Headless-Modus. Mit Proxy-Rotation.

Stealth-Headless-Browser für AI-Agents – umgeht Cloudflare, Bot-Erkennung und Anti-Scraping. Drop-in-Ersatz für Puppeteer/Playwright.

Liste von Bibliotheken, Tools und APIs für Web Scraping und Datenverarbeitung.

Ein intelligenter, automatischer, schneller und leichtgewichtiger Web Scraper für Python

Tabula ist ein Werkzeug zum Befreien von Datentabellen, die in PDF-Dateien eingeschlossen sind.

Pydoll ist eine Bibliothek zur Automatisierung von Chromium-basierten Browsern ohne WebDriver und bietet realistische Interaktionen.

Python- und Befehlszeilen-Tool zum Sammeln von Text und Metadaten im Web: Crawling, Scraping, Extraktion, Ausgabe als CSV, JSON, HTML, MD, TXT, XML

🚀 Kostenlose Liste von HTTP-, SOCKS4- und SOCKS5-Proxys * Alle 5 Minuten aktualisiert * sowie Rotations-Proxy-API (über 100 Länder)

Schweizer Taschenmesser zum Scraping und Extrahieren von Daten aus Online-Ressourcen, entwickelt für Hacker

Twitter API Scraper | Ohne API-Schlüssel | Twitter Interne API | Kostenlos | Twitter Scraper | Twitter Bot

Mechanize ist eine Ruby-Bibliothek, die die automatisierte Web-Interaktion vereinfacht.

Snoop – ein OSINT-Recherche-Tool (Open Source Intelligence)

AnyCrawl 🚀: Ein Node.js/TypeScript-Crawler, der Websites in LLM-fähige Daten umwandelt und strukturierte SERP-Ergebnisse von Google/Bing/Baidu usw. extrahiert. Natives Multithreading für die Massenverarbeitung.

Möchtest du kostenlos neue Dinge lernen? Mit Hilfe von Web-Scraping und Automatisierung findet dieses Skript die nötigen Udemy-Gutscheine und schreibt dich absolut kostenlos in kostenpflichtige Udemy-Kurse ein!

Öffentliche Facebook-Seiten ohne API-Schlüssel scrapen

Eine Browser-Test- und Web-Crawling-Bibliothek für PHP und Symfony

Ein Open-Source-Fingerabdruck-Browser basierend auf Ungoogled Chromium.

Lernen Sie Schritt für Schritt, wie Sie Google Trends-Daten scrapen und mit Python und der Oxylabs SERP API vergleichen. Extrahieren Sie Keywords, deren Beliebtheit, regionale Aufschlüsselung, verwandte Anfragen und mehr.