web-scraping

Die Context API zum Suchen, Scrapen und Interagieren mit dem Web auf großer Skalierung. 🔥

🕷️ Ein adaptives Web-Scraping-Framework, das alles von einer einzelnen Anfrage bis zu einem groß angelegten Crawl behandelt!

Scrapy, ein schneller, hochstufiges Web-Crawling- und Scraping-Framework für Python.

Klonen Sie jede Website mit einem einzigen Befehl mithilfe von KI‑Coding‑Agenten.

Das beste und einfachste Tool zur Erkennung von Website-Änderungen, Webseitenüberwachung und Benachrichtigungen über Änderungen. Ideal zum Verfolgen von Inhaltsänderungen, Preissenkungen, Nachschubwarnungen und Überwachung von Website-Vandalismus – kostenlos oder mit unserem SaaS-Plan.

Stealth Chromium, das jeden Bot-Erkennungs-Test besteht. Drop-in-Ersatz für Playwright mit Quellcode-Ebene-Fingerabdruck-Patches. 30/30 Tests bestanden.

Python‑Scraper basierend auf KI

Open‑Source‑KI‑Bewerbungs‑Bot in Python: Browser‑Automatisierung und Web‑Scraping zum Lesen von Stellenanzeigen, dann automatisches Bewerben mit einem zugeschnittenen Lebenslauf und Anschreiben für jede Anzeige.

Crawlee—A web scraping and browser automation library for Node.js zur Erstellung zuverlässiger Crawler. In JavaScript und TypeScript. Daten für KI, LLMs, RAG oder GPTs extrahieren. HTML, PDF, JPG, PNG und andere Dateien von Websites herunterladen. Funktioniert mit Puppeteer, Playwright, Cheerio, JSDOM und raw HTTP. Sowohl headful als auch headless-Modus. Mit Proxy-Rotation.

🚀 „Douyin_TikTok_Download_API“ ist ein sofort einsatzbereites, performantes, asynchrones Daten-Scraping-Tool für Douyin, Kuaishou, TikTok und Bilibili, das API-Aufrufe sowie Online-Batch-Parsing und -Download unterstützt.

🔥 Die Open-Source-No-Code-Plattform für Web-Scraping, Crawling, Suche und KI-Datenextraktion • Verwandeln Sie Websites in Minuten in strukturierte APIs 🔥

Open-Source-Alternative zu NotebookLM. Durchsuche das offene Web mit Live-Daten (Reddit, YT, IG, TikTok, Indeed, Google Search, Maps usw.) über eine Plattform, API oder einen MCP-Server. Trete unserem Discord bei: https://discord.gg/ejRNvftDp9

Konvertierung von Dokumentations-Websites, GitHub-Repositories und PDFs in Claude-AI-Fähigkeiten mit automatischer Konflikterkennung

📊 APIs für Web-Automatisierung, Tests und das Umgehen von Bot-Erkennung.

jsoup: Der Java-HTML-Parser, entwickelt für HTML-Bearbeitung, Bereinigung, Scraping und XSS-Sicherheit.

Leistungsstarke Browser-Automatisierungsbrücke und Multi-Instance-Orchestrator mit erweiterter Stealth-Injektion und Echtzeit-Dashboard.

Crawlee — Eine Web-Scraping- und Browser-Automatisierungsbibliothek für Python zur Erstellung zuverlässiger Crawler. Extrahieren Sie Daten für KI, LLMs, RAG oder GPTs. Laden Sie HTML, PDF, JPG, PNG und andere Dateien von Websites herunter. Funktioniert mit Parsel, BeautifulSoup, Playwright und nativem HTTP. Sowohl Headful- als auch Headless-Modus. Mit Proxy-Rotation.

Stealth-Headless-Browser für AI-Agents – umgeht Cloudflare, Bot-Erkennung und Anti-Scraping. Drop-in-Ersatz für Puppeteer/Playwright.

Leichtere Web-Automatisierung mit Python

Liste von Bibliotheken, Tools und APIs für Web Scraping und Datenverarbeitung.

Ein intelligenter, automatischer, schneller und leichtgewichtiger Web Scraper für Python

Dieses GitHub-Repository ist eine leistungsstarke Sammlung von APIs, die Sie sofort nutzen können, um alles von einfachen Automatisierungen bis hin zu vollwertigen Anwendungen zu entwickeln. Eine der wertvollsten API-Listen auf GitHub überhaupt. 💪

🔥 Offizieller Firecrawl MCP Server – Fügt leistungsstarkes Web-Scraping und -Suchen zu Cursor, Claude und anderen LLM-Clients hinzu.

Ein Chrome DevTools Protocol-Treiber für Web-Automatisierung und Scraping.

Pydoll ist eine Bibliothek zur Automatisierung von Chromium-basierten Browsern ohne WebDriver und bietet realistische Interaktionen.

Python- und Befehlszeilen-Tool zum Sammeln von Text und Metadaten im Web: Crawling, Scraping, Extraktion, Ausgabe als CSV, JSON, HTML, MD, TXT, XML

Python-Binding für das curl-impersonate-Fork via cffi. Ein HTTP-Client, der Browser-TLS/JA3/HTTP2-Fingerabdrücke imitieren kann.

Deklarative Datenautomatisierungssprache und Go-Laufzeitumgebung für strukturierte Extraktionsworkflows.

Daten von Google Maps scrapen. Extrahiert für jeden Ort Daten wie Name, Adresse, Telefonnummer, Website-URL, Bewertung, Anzahl der Rezensionen, Breiten- und Längengrad, Rezensionen, E-Mail und mehr.

Für KI-Agenten entwickelte Browser-Automatisierungs-CLI. Überwindet Anti-Bot-Sperren und übergibt bei Problemen an Menschen auf verschiedenen Plattformen. Parallele Multitask-Ausführung, unabhängiger Multisitzungs-Betrieb, isoliertes Multi-Konto-Browsing.