crawler

Crawler-Reverse-Engineering-Fälle, abgeschlossen: TLS-Fingerabdruck | Ruyisuan | Zhenkunhang | NetEase Dun | WeChat-Mini-App-Dekompilierung (Bada Galaxy) | 10jqka | RPC-Entschlüsselung | Jiasule | Geetest-Slider-Captcha | Juli Suanshu | Boss Zhipin | Qichacha | China Minmetals | QQ Music | Industrial Policy Big Data Platform | Qizhidao | Xueqiu (acw_sc__v2) | 1688 | Qimai Data | WHGGZY | Qiming Science and Technology | MOHURD | EntGroup | OKLink

SiteOne Crawler ist ein plattformübergreifender Website-Crawler und -Analysator für SEO, Sicherheit, Barrierefreiheit und Leistungsoptimierung – ideal für Entwickler, DevOps, QA-Ingenieure und Berater. Unterstützt Windows, macOS und Linux (x64 und arm64).

HTTP-API für Scrapy-Spider

Leistungsstarke asynchrone API für Douyin, TikTok, Xiaohongshu, Kuaishou, Weibo, Instagram, YouTube, Twitter (X), Captcha Solver und Temp Mail.

Eine Kotlin-basierte Test-, Scraping- und Parsing-Bibliothek zur Analyse und Extraktion von Daten aus HTML (serverseitig und clientseitig gerendert). Sie legt besonderen Wert auf Benutzerfreundlichkeit und hohe Lesbarkeit durch eine intuitive DSL. Sie zielt darauf ab, eine Testbibliothek zu sein, kann aber auch bequem zum Scraping von Webseiten genutzt werden.

ArrowDL (Arrow Downloader) ist ein Download-Manager für Windows, MacOS und Linux.

Eine vielseitige Ruby-Web-Spidering-Bibliothek, die eine Website, mehrere Domains, bestimmte Links oder unendlich crawlen kann. Spidr ist auf Geschwindigkeit und einfache Bedienung ausgelegt.

KI-Reverse-Engineering in einem Durchgang

Einfacher, aber nützlicher Python-Web-Scraping-Tutorial-Code.

Java-API für Chrome und Firefox

Doujinshi-Downloader (紳士漫畫 Downloader)

Ein leistungsstarkes Werkzeug zur JS-Cookie-Reversierung: Visualisierungstool für JS-Cookie-Änderungen & Bedingte Haltepunkte via JS-Cookie-Hook

Open-Source-SEO-Audit-Tool.

🕵️‍♂️ LinkedIn-Profil-Scraper, der strukturierte Profildaten in JSON zurückgibt.

Code-Repository zum Buch „Crawler Reverse Engineering Advanced Practice“

Ein leichtgewichtiger Web-Crawler-Framework.

The Big Brother V6.0 ist eine bewaffnete OSINT-Plattform mit Benutzernamen-Enumeration (473+ Plattformen), Quad-Vector Visual Intelligence, Sky-Radar-Tracking, Krypto-Wallet-Analyse, SSL Intelligence, Rekonstruktion des digitalen Fußabdrucks, EXIF-Extraktion, Advanced Dorking und Netzwerkaufklärung.

:newspaper: Lassen Sie ChatGPT Hacker News für Sie zusammenfassen

Eine Blog-Backup-Anwendung für Tumblr und Twitter

Die beste PTT-Bibliothek

Wscan ist ein Web-Sicherheitsscanner, der sich auf Websicherheit konzentriert und darauf abzielt, Websicherheit für jeden zugänglich zu machen.

Durchsuche Google, Bing, Yahoo und andere Suchmaschinen mit Python

Offizielles Repository für „Craw4LLM: Efficient Web Crawling for LLM Pretraining“

Krawl ist ein anpassbarer, leichter, Cloud-nativer Web-Täuschungsserver und Anti-Crawler, der gefälschte Webanwendungen mit leicht zugänglichen Schwachstellen erstellt, unter Verwendung realistischer, zufällig generierter Lockdaten und KI-generierter HTML-Vorlagen.

NetDiscovery ist ein universelles Crawler-Framework bzw. eine Middleware auf Basis von Frameworks wie Vert.x und RxJava 2.

Speichert Webseiten lokal mit Bildern, CSS, JS und Links im Ist-Zustand auf Ihrer Festplatte.

Moodle-DL lädt Kursinhalte schnell von Moodle herunter (z. B. Vorlesungs-PDFs)

Jie ist ein umfassendes Sicherheitsanalyse- und Exploitation-Tool für Webanwendungen. Es bietet Funktionen für Schwachstellenscans, Informationsbeschaffung und Exploits und ist ein unverzichtbares Werkzeug für Sicherheitsexperten und Penetrationstester.

Ein zuverlässiges High-Level-Framework für Web-Crawling und Scraping in Node.js.

Open-Source-Webinfrastruktur für KI. Web-Scraping, Crawling, Automatisierung, Bereinigung von Markdown und Browser-Sitzungen, bereit für Ihre Agenten.