crawler

Các trường hợp đảo ngược trình thu thập dữ liệu (crawler), bao gồm: vân tay TLS,瑞数, Zhenkunhang, NetEase Dun, dịch ngược WeChat mini-program, Tonghuashun, giải mã rpc, Jiasule, xác thực trượt Geetest, Julianshanshu, Boss Zhipin, Qichacha, China Minmetals, QQ Music, nền tảng dữ liệu chính sách công nghiệp, Qizhidao, Xueqiu, 1688, Qimai, whggzy, Qiming Technology, mohurd, Yi'en Data, OKLink.

SiteOne Crawler là trình thu thập và phân tích trang web đa nền tảng dành cho SEO, bảo mật, khả năng truy cập và tối ưu hóa hiệu suất—lý tưởng cho các nhà phát triển, DevOps, kỹ sư QA và tư vấn viên. Hỗ trợ Windows, macOS và Linux (x64 và arm64).

HTTP API cho Scrapy spiders

API hiệu năng cao hỗ trợ bất đồng bộ cho Douyin, TikTok, Xiaohongshu, Kuaishou, Weibo, Instagram, YouTube, Twitter (X), giải mã Captcha và email tạm thời.

Thư viện kiểm thử/cào dữ liệu/phân tích cú pháp dựa trên Kotlin, cung cấp khả năng phân tích và trích xuất dữ liệu từ HTML (kết xuất phía máy chủ và máy khách). Thư viện chú trọng vào tính dễ sử dụng và khả năng đọc cao thông qua DSL trực quan. Mục tiêu chính là thư viện kiểm thử, nhưng cũng có thể được sử dụng để cào dữ liệu trang web một cách thuận tiện.

ArrowDL (Arrow Downloader) là trình quản lý tải xuống cho Windows, MacOS và Linux

Thư viện web spidering linh hoạt cho Ruby, có thể quét một trang web, nhiều tên miền, các liên kết cụ thể hoặc vô hạn. Spidr được thiết kế để nhanh chóng và dễ sử dụng.

Công cụ đảo ngược AI

Mã nguồn hướng dẫn web scraping bằng Python đơn giản nhưng hữu ích.

Java API cho Chrome và Firefox

Trình tải xuống Doujinshi

Công cụ mạnh mẽ để đảo ngược JS cookie: công cụ trực quan hóa giám sát thay đổi JS cookie & đặt điểm ngắt có điều kiện cho JS cookie hook

Công cụ kiểm toán SEO mã nguồn mở.

Công cụ thu thập dữ liệu hồ sơ LinkedIn trả về dữ liệu hồ sơ có cấu trúc dưới dạng JSON.

Kho mã nguồn cho sách "Thực chiến nâng cao về kỹ thuật đảo ngược trình thu thập dữ liệu".

Một framework trình thu thập dữ liệu web nhẹ.

The Big Brother V6.0 là một nền tảng OSINT vũ khí hóa bao gồm liệt kê tên người dùng (hơn 473 nền tảng), tình báo hình ảnh bốn vectơ, theo dõi Sky Radar, phân tích ví tiền điện tử, tình báo SSL, tái tạo dấu vết kỹ thuật số, trích xuất EXIF, dorking nâng cao và trinh sát mạng.

Để ChatGPT tóm tắt Hacker News cho bạn.

Ứng dụng sao lưu blog Tumblr và Twitter

Thư viện PTT tốt nhất

Wscan là một trình quét bảo mật web tập trung vào bảo mật web, với mục tiêu giúp mọi người đều có thể tiếp cận bảo mật web.

Tìm kiếm trên Google, Bing, Yahoo và các công cụ tìm kiếm khác bằng Python

Kho lưu trữ chính thức cho "Craw4LLM: Thu thập dữ liệu web hiệu quả để tiền huấn luyện LLM"

Krawl là một máy chủ đánh lừa web (web deception) và chống thu thập dữ liệu đám mây, nhẹ và có thể tùy chỉnh, tạo ra các ứng dụng web giả với các lỗ hổng dễ khai thác bằng cách sử dụng dữ liệu mồi ngẫu nhiên thực tế và các mẫu HTML do AI tạo ra.

NetDiscovery là một framework/middleware thu thập dữ liệu phổ biến được triển khai dựa trên các framework như Vert.x và RxJava 2.

Lưu cục bộ các trang web vào ổ cứng của bạn bao gồm hình ảnh, css, js và liên kết nguyên trạng.

Moodle-DL tải xuống nội dung khóa học nhanh chóng từ Moodle (ví dụ: tệp PDF bài giảng).

Jie là công cụ đánh giá bảo mật và khai thác toàn diện cho ứng dụng web, bao gồm quét lỗ hổng, thu thập thông tin và khai thác, là bộ công cụ thiết yếu cho chuyên gia bảo mật và kiểm thử xâm nhập

Một framework thu thập và cào dữ liệu web cấp cao, đáng tin cậy cho Node.js

Cơ sở hạ tầng web mã nguồn mở cho AI. Cào, thu thập và tự động hóa web, làm sạch markdown, phiên trình duyệt, sẵn sàng cho các tác nhân (agents) của bạn