spider

Ein hochleistungsfähiger Web-Crawler / Scraper in Elixir.

Ein Multithread-Crawler-Framework mit vielen integrierten Bild-Crawlern.

Crawler-Reverse-Engineering-Fälle, abgeschlossen: TLS-Fingerabdruck | Ruyisuan | Zhenkunhang | NetEase Dun | WeChat-Mini-App-Dekompilierung (Bada Galaxy) | 10jqka | RPC-Entschlüsselung | Jiasule | Geetest-Slider-Captcha | Juli Suanshu | Boss Zhipin | Qichacha | China Minmetals | QQ Music | Industrial Policy Big Data Platform | Qizhidao | Xueqiu (acw_sc__v2) | 1688 | Qimai Data | WHGGZY | Qiming Science and Technology | MOHURD | EntGroup | OKLink

:point_right: Ein auf Spring Boot basierender Java-Aktien-Crawler (unterstützt nur A-Aktien). Wenn es dir :heart: gefällt, vergib bitte ein :star:. V2-Upgrade-Version befindet sich in Entwicklung!

Eine vielseitige Ruby-Web-Spidering-Bibliothek, die eine Website, mehrere Domains, bestimmte Links oder unendlich crawlen kann. Spidr ist auf Geschwindigkeit und einfache Bedienung ausgelegt.

Eine Reihe von Spidern und Scrapern zum Extrahieren von Standortinformationen von Websites, die ihre Standorte im Internet veröffentlichen.

Ein Calibre-Source/Metadata-Plugin basierend auf der ISBN-Suche der Nationalbibliothek von China.

Ein Penetration-Testing-Framework, Tool zur Informationsbeschaffung & Website-Schwachstellen-Scanner

🕵️‍♂️ LinkedIn-Profil-Scraper, der strukturierte Profildaten in JSON zurückgibt.

Ein leichtgewichtiger Web-Crawler-Framework.

:newspaper: Lassen Sie ChatGPT Hacker News für Sie zusammenfassen

Signal 18 repman – Replication Manager für MySQL / MariaDB / Percona Server

Light-Novel-Packer zum Erfassen von Inhalten der Light-Novel-Website (bilinovel.com linovelib.com) und Packen in das EPUB-Format, mit Unterstützung für Cover, Illustrationen, Inhaltsverzeichnis und Zusammenführung von Bänden.

Python-Crawler zum Entfernen von Wasserzeichen aus Kurzvideos: Douyin, Pipixia, Huoshan, Weishi, Zuiyou, Kuaishou, Quanmin Xiaoshipin, Pipi Gaoxiao, Xigua Video, Huya, Pear Video, AcFun, Haokan Video...

Unternehmensweiter Public-Opinion-News-Crawler: Unterstützt die Ein-Klick-Ausführung einer beliebigen Anzahl von Crawlern, Zeitpläne, Stapellöschung, Ein-Klick-Bereitstellung, Visualisierung der Überwachung und Cluster-Zuweisungsstrategien; inkl. fertiger Docker-Bereitstellungsdokumentation.

Video- und Cat-Video-Crawler-Repository

Ansätze und Erfahrungen beim Reverse Engineering von App-Parametern, Android Reverse Engineering

Krawl ist ein anpassbarer, leichter, Cloud-nativer Web-Täuschungsserver und Anti-Crawler, der gefälschte Webanwendungen mit leicht zugänglichen Schwachstellen erstellt, unter Verwendung realistischer, zufällig generierter Lockdaten und KI-generierter HTML-Vorlagen.

NetDiscovery ist ein universelles Crawler-Framework bzw. eine Middleware auf Basis von Frameworks wie Vert.x und RxJava 2.

Fragebogenprojekt, Cloud-Server-Empfehlungen, Idle-Projekte, kostenlose Proxys und Sammlung verschiedener Skripte.

spider-admin-pro: Ein visuelles Verwaltungstool zur Anzeige von Scrapy+Scrapyd-Spider-Projekten und zur zeitgesteuerten Planung von Spider-Aufgaben, die aktualisierte Version von SpiderAdmin.

Python 3-Skript zum Auslesen und Extrahieren von Unternehmensmitarbeitern über die LinkedIn-API

Ein zuverlässiges High-Level-Framework für Web-Crawling und Scraping in Node.js.

FreeProxy: Sammelt kostenlose Proxys aus dem Internet. Unterstützt das Crawlen dutzender Quellen, benutzerdefinierte Filterregeln und tägliche Aktualisierungen für Web-Scraping und Datenanalyse.

Visualisierungssoftware für Bilibili-Kommentarbereiche – unterstützt Content-Ersteller bei der Themenwahl und Zielgruppenanalyse.