scraper

📰 Newspaper4k, ein Fork des beliebten Newspaper3k. Extraktion von Artikeln, Titeln und Metadaten von Nachrichtenwebsites.

Crawly, ein High-Level Web-Crawling- und -Scraping-Framework für Elixir.

Schreiben Sie Web-Scraper in Ruby mit einer sauberen, KI-unterstützten DSL. Kimurai nutzt KI, um herauszufinden, wo sich die Daten befinden, speichert dann die Selektoren im Cache und scrapt mit reinem Ruby. Erhalten Sie die Intelligenz eines LLM ohne Latenz pro Anfrage oder Token-Kosten.

Skalierbare Python-Web-Scraping-Skripte für mehr als 40 beliebte Domains

Inoffizielle MyAnimeList PHP+REST-API, die Funktionen jenseits der offiziellen API bereitstellt

Universal Reddit Scraper – Ein umfassendes Kommandozeilen-Tool zum Extrahieren und Archivieren von Reddit-Daten.

Ein ergonomischer, datenschutzbewusster Rust HTTP-Client.

Ein umfassender Manager zur Verwaltung von PC-Ressourcen mit Gamification-Funktionen.

Google Play Scraper für Python, inspiriert von <facundoolano/google-play-scraper>

Das allererste Tool zum anonymen Anzeigen von privaten Instagram-Beiträgen

Ein hochleistungsfähiger Web-Crawler / Scraper in Elixir.

Abrufen von X/Twitter-Tweets, Antworten, Timelines und Artikeln ohne Login oder API-Schlüssel – Praxis-Werkzeug für KI-Agenten.

HTTP-API für Scrapy-Spider

Eine Kotlin-basierte Test-, Scraping- und Parsing-Bibliothek zur Analyse und Extraktion von Daten aus HTML (serverseitig und clientseitig gerendert). Sie legt besonderen Wert auf Benutzerfreundlichkeit und hohe Lesbarkeit durch eine intuitive DSL. Sie zielt darauf ab, eine Testbibliothek zu sein, kann aber auch bequem zum Scraping von Webseiten genutzt werden.

Kommandozeilen-Tool zum Herunterladen und Extrahieren von Daten aus HTML/XML-Seiten oder JSON-APIs mittels CSS, XPath 3.0, XQuery 3.0, JSONiq oder Pattern Matching. Es kann zudem neue oder transformierte XML/HTML/JSON-Dokumente erstellen.

Erstelle eine ZIM-Datei aus einer beliebigen Website und surfe offline!

Ein universeller Doujinshi- und Bildergalerie-Downloader

Konvertiert einige Webnovels in das EPUB-Format

Eine vielseitige Ruby-Web-Spidering-Bibliothek, die eine Website, mehrere Domains, bestimmte Links oder unendlich crawlen kann. Spidr ist auf Geschwindigkeit und einfache Bedienung ausgelegt.

Java-API für Chrome und Firefox

Eine offene Datenbank mit internationalen Sanktionsdaten, verdächtigen Personen und politisch exponierten Personen

Selbst gehostete Scraping-Engine — umgeht jegliche JS-Herausforderungen und Captchas: Cloudflare, Turnstile, reCAPTCHA, hCaptcha, GeeTest. Eine FlareSolverr- und Byparr-Alternative sowie direkter Ersatz für Ihren *arr-Stack.

🕵️‍♂️ LinkedIn-Profil-Scraper, der strukturierte Profildaten in JSON zurückgibt.

operative framework ist ein Rust-OSINT-Ermittlungs-Framework. Sie können mit mehreren Zielen interagieren, mehrere Module ausführen, Verknüpfungen mit Zielen erstellen, Berichte in eine PDF-Datei exportieren, Notizen zu Zielen oder Ergebnissen hinzufügen, mit einer RESTful API interagieren und eigene Module schreiben.

Python-Paket zum Scraping von Immobilien-Daten

Das Slash OSINT-Tool

Ein selbst gehosteter Multi-User-Preis-Tracker für Amazon, Aliexpress, eBay und viele weitere sowie benutzerdefinierte Shops. Erhalten Sie Benachrichtigungen, wenn der Preis ein oder mehrere vom Benutzer festgelegte Kriterien erfüllt

Eine Scala-Bibliothek zum Scraping von Inhalten aus HTML-Seiten

Eine Liste von Web-Scrapern aus dem gesamten Web

Interne API-Dokumentation von Twitter