crawler

Eine Sammlung lesenswerter Artikel zum Reverse Engineering, die man gesehen haben muss

🤖 Automatisches Scrapen von Daten von HTML-Websites durch einfaches Bereitstellen von Beispielen

K-Ge-Crawler-Code-Sharing, JS-Reverse-Engineering, fortgeschrittenes Crawling. Folgen Sie dem offiziellen Account: K哥爬虫

Leichter Ruby-Web-Crawler/Scraper mit einer eleganten DSL, der strukturierte Daten aus Seiten extrahiert

Das primäre Cross-Site Request Forgery (CSRF) Audit- und Exploitation-Toolkit.

Der schnellste in Go geschriebene Dork-Scanner.

📝 Schnelles Crawlen von Informationen (z. B. Follower, Tags usw.) eines Instagram-Profils.

Ein Chrome-CDP-basierter Job-Scraper/Crawler für BOSS Zhipin, der echte Anmeldestatus wiederverwendet, Anti-Crawling-Schriftarten umgeht und Klartext-Gehälter als JSON/CSV inkl. Gehalts- und Skill-Analysen ausgibt.

Beanbun ist ein in PHP geschriebenes Multi-Process-Web-Crawler-Framework mit guter Offenheit und hoher Skalierbarkeit, basierend auf Workerman.

Ein nützlicher Bilibili-Manga-Downloader mit grafischer Benutzeroberfläche, der Stichwortsuche, QR-Code-Login, das Herunterladen gesperrter Kapitel durch erweiterte Techniken, Multithreading-Downloads, verschiedene Speicherformate, lokale Verwaltung und Ein-Klick-Updates unterstützt.

App-Automatisierungs-Traversal-Tool basierend auf Appium

Einfaches Herunterladen aller Fotos/Videos von Tumblr-Blogs.

📰 Newspaper4k, ein Fork des beliebten Newspaper3k. Extraktion von Artikeln, Titeln und Metadaten von Nachrichtenwebsites.

Open-Source, selbstgehosteter Enterprise- und Websuchserver auf Basis von OpenSearch. Durchsucht Web-, Datei-, Datenbank- und Cloud-Quellen, unterstützt über 20 Sprachen, REST-API sowie KI/RAG- und semantische Suche. Apache-2.0.

Ausführen eines hochpräzisen, browserbasierten Web-Archivierungs-Crawlers in einem einzigen Docker-Container

Crawly, ein High-Level Web-Crawling- und -Scraping-Framework für Elixir.

Schreiben Sie Web-Scraper in Ruby mit einer sauberen, KI-unterstützten DSL. Kimurai nutzt KI, um herauszufinden, wo sich die Daten befinden, speichert dann die Selektoren im Cache und scrapt mit reinem Ruby. Erhalten Sie die Intelligenz eines LLM ohne Latenz pro Anfrage oder Token-Kosten.

Skalierbare Python-Web-Scraping-Skripte für mehr als 40 beliebte Domains

Golang-Tool zum Entfernen von Wasserzeichen aus Kurzvideos: Douyin, Pipixia, Huoshan, Weishi, Zuiyou, Kuaishou, Quanmin Xiaoshipin, Pipigaoxiao, Xigua Video, Huya, Pear Video, AcFun, Haokan Video...

Roman-Download, Web-Scraping, Qidian, Biquge, Markdown-Export, TXT-Export, EPUB-Konvertierung, Werbefiltrierung, automatische Korrektur

Ein ergonomischer, datenschutzbewusster Rust HTTP-Client.

Ein Tool für pixiv.net. Ein für jeden nutzbarer Pixiv-Crawler

Google Play Scraper für Python, inspiriert von <facundoolano/google-play-scraper>

Ein skalierbarer, ausgereifter und vielseitiger Web-Crawler auf Basis von Apache Storm

SpiderSuite (Web-Security-Crawler) Releases, Wiki und Roadmap

Ein hochleistungsfähiger Web-Crawler / Scraper in Elixir.

Schnelle, leichtgewichtige Firecrawl-/Tavily-Alternative in Rust. Web-Scraper, -Crawler und -Such-API mit MCP-Server für KI-Agenten. Drop-in Firecrawl-kompatible API (/scrape, /crawl, /search). 2,3x schneller als Tavily, 1,5x schneller als Firecrawl bei 1K-URL-Benchmarks. 6 MB RAM, einzelne Binärdatei. Selbst hosten oder verwaltete Cloud nutzen.

Rein in Python geschriebene Protokoll-Tools und Forschungsnotizen für X.com mit Datensätzen des Twitter-Kontos VibeLoft

Ein Multithread-Crawler-Framework mit vielen integrierten Bild-Crawlern.

ChatWeb kann Webseiten durchsuchen, PDFs, DOCX, TXT lesen und den Hauptinhalt extrahieren, um dann Ihre Fragen basierend auf dem Inhalt zu beantworten oder die Kernpunkte zusammenzufassen.