spider

Trình thu thập / cào dữ liệu web hiệu suất cao bằng Elixir.

Khung crawl đa luồng với nhiều trình crawl hình ảnh tích hợp sẵn.

Các trường hợp đảo ngược trình thu thập dữ liệu (crawler), bao gồm: vân tay TLS,瑞数, Zhenkunhang, NetEase Dun, dịch ngược WeChat mini-program, Tonghuashun, giải mã rpc, Jiasule, xác thực trượt Geetest, Julianshanshu, Boss Zhipin, Qichacha, China Minmetals, QQ Music, nền tảng dữ liệu chính sách công nghiệp, Qizhidao, Xueqiu, 1688, Qimai, whggzy, Qiming Technology, mohurd, Yi'en Data, OKLink.

Trình thu thập dữ liệu chứng khoán Java dựa trên Spring Boot (chỉ hỗ trợ cổ phiếu A), nếu bạn thích hãy gắn sao. Phiên bản nâng cấp V2 đang được phát triển!

Thư viện web spidering linh hoạt cho Ruby, có thể quét một trang web, nhiều tên miền, các liên kết cụ thể hoặc vô hạn. Spidr được thiết kế để nhanh chóng và dễ sử dụng.

Bộ sưu tập các trình thu thập dữ liệu để trích xuất thông tin vị trí từ các trang web đăng tải địa điểm.

Plugin source/metadata cho calibre dựa trên việc tra cứu ISBN của Thư viện Quốc gia Trung Quốc

Khung kiểm thử xâm nhập, công cụ thu thập thông tin và trình quét lỗ hổng trang web.

Công cụ thu thập dữ liệu hồ sơ LinkedIn trả về dữ liệu hồ sơ có cấu trúc dưới dạng JSON.

Một framework trình thu thập dữ liệu web nhẹ.

Để ChatGPT tóm tắt Hacker News cho bạn.

Signal 18 repman - Trình quản lý sao chép cho MySQL / MariaDB / Percona Server

Công cụ đóng gói tiểu thuyết nhẹ, thu thập nội dung từ các trang web bilinovel.com và linovelib.com, đóng gói thành định dạng EPUB, hỗ trợ bìa, hình minh họa, mục lục và gộp tập

Trình thu thập dữ liệu video ngắn không watermark bằng Python: Douyin, Pipixia, Huoshan, Weishi, Zuiyou, Kuaishou, Quanmin, Pipigaoxiao, Xigua, Huya, Pear Video, AcFun, Haokan, v.v.

Dự án trình thu thập tin tức dư luận cấp doanh nghiệp: hỗ trợ chạy một lần bất kỳ số lượng trình thu thập, tác vụ định kỳ, xóa hàng loạt; triển khai một lần; trực quan hóa giám sát; cấu hình chiến lược phân bổ cụm. Tài liệu triển khai Docker có sẵn.

Kho lưu trữ trình thu thập dữ liệu cho phim ảnh và CatVod.

Tư duy và trải nghiệm về reverse engineering tham số ứng dụng, reverse engineering trên Android

Krawl là một máy chủ đánh lừa web (web deception) và chống thu thập dữ liệu đám mây, nhẹ và có thể tùy chỉnh, tạo ra các ứng dụng web giả với các lỗ hổng dễ khai thác bằng cách sử dụng dữ liệu mồi ngẫu nhiên thực tế và các mẫu HTML do AI tạo ra.

NetDiscovery là một framework/middleware thu thập dữ liệu phổ biến được triển khai dựa trên các framework như Vert.x và RxJava 2.

Dự án khảo sát, đề xuất máy chủ đám mây, dự án treo máy, proxy miễn phí và bộ sưu tập các tập lệnh. Vui lòng nhấn vào biểu tượng chuông ở góc trên bên phải để nhận thông tin cập nhật kịp thời. (Không fork, giữ kín đáo)

spider-admin-pro là một công cụ quản lý trực quan tích hợp Scrapy+Scrapyd để xem dự án và lập lịch tác vụ爬虫, phiên bản nâng cấp của SpiderAdmin.

Script Python 3 để dump/scrape/trích xuất nhân viên công ty từ LinkedIn API

Một framework thu thập và cào dữ liệu web cấp cao, đáng tin cậy cho Node.js

FreeProxy: Thu thập proxy miễn phí từ internet. Hỗ trợ thu thập từ hàng chục nguồn chia sẻ, lọc proxy theo quy tắc tùy chỉnh, cần thiết cho việc thu thập dữ liệu và phân tích, cập nhật hàng ngày.

Phần mềm phân tích trực quan hóa dữ liệu bình luận Bilibili - giúp các nhà sáng tạo nội dung định hướng chủ đề và xác định nhóm người hâm mộ của mình