scraper

📰 Newspaper4k, một nhánh (fork) của Newspaper3k được yêu thích. Trích xuất bài viết, tiêu đề và siêu dữ liệu từ các trang web tin tức.

Crawly, một framework cào và thu thập dữ liệu web cấp cao dành cho Elixir.

Viết web scraper bằng Ruby sử dụng một DSL sạch, được hỗ trợ bởi AI. Kimurai sử dụng AI để tìm vị trí của dữ liệu, sau đó lưu cache các bộ chọn và cào dữ liệu bằng Ruby thuần túy. Nhận sự thông minh của LLM mà không có độ trễ trên mỗi yêu cầu hoặc chi phí token.

Các tập lệnh cào dữ liệu web Python có khả năng mở rộng cho hơn 40 tên miền phổ biến

API PHP+REST không chính thức của MyAnimeList cung cấp các tính năng ngoài API chính thức

Universal Reddit Scraper - Công cụ dòng lệnh toàn diện để trích xuất và lưu trữ dữ liệu Reddit.

Trình quản lý tổng hợp tài nguyên máy tính, tích hợp cơ chế trò chơi hóa (gamification)

Một HTTP Client bằng Rust tiện dụng và tôn trọng quyền riêng tư.

Công cụ cào dữ liệu Google Play cho Python, lấy cảm hứng từ <facundoolano/google-play-scraper>

Công cụ đầu tiên cho phép xem "bài đăng riêng tư trên Instagram" một cách ẩn danh

Trình thu thập / cào dữ liệu web hiệu suất cao bằng Elixir.

Lấy các tweet, phản hồi, dòng thời gian và bài viết trên X/Twitter mà không cần đăng nhập hoặc khóa API — công cụ thực tế cho các AI agent.

HTTP API cho Scrapy spiders

Thư viện kiểm thử/cào dữ liệu/phân tích cú pháp dựa trên Kotlin, cung cấp khả năng phân tích và trích xuất dữ liệu từ HTML (kết xuất phía máy chủ và máy khách). Thư viện chú trọng vào tính dễ sử dụng và khả năng đọc cao thông qua DSL trực quan. Mục tiêu chính là thư viện kiểm thử, nhưng cũng có thể được sử dụng để cào dữ liệu trang web một cách thuận tiện.

Công cụ dòng lệnh để tải xuống và trích xuất dữ liệu từ các trang HTML/XML hoặc JSON-API, sử dụng CSS, XPath 3.0, XQuery 3.0, JSONiq hoặc khớp mẫu. Nó cũng có thể tạo mới hoặc chuyển đổi các tài liệu XML/HTML/JSON.

Tạo tệp ZIM từ bất kỳ trang web nào và duyệt ngoại tuyến!

Trình tải xuống doujinshi và thư viện ảnh đa năng

Chuyển đổi một số tiểu thuyết web sang định dạng epub

Thư viện web spidering linh hoạt cho Ruby, có thể quét một trang web, nhiều tên miền, các liên kết cụ thể hoặc vô hạn. Spidr được thiết kế để nhanh chóng và dễ sử dụng.

Java API cho Chrome và Firefox

Cơ sở dữ liệu mở về dữ liệu trừng phạt quốc tế, các cá nhân cần quan tâm và các cá nhân có ảnh hưởng chính trị

Công cụ scraping tự lưu trữ — vượt qua mọi thử thách JS và captcha: Cloudflare, Turnstile, reCAPTCHA, hCaptcha, GeeTest. Giải pháp thay thế cho FlareSolverr và Byparr cho ngăn xếp *arr của bạn.

Công cụ thu thập dữ liệu hồ sơ LinkedIn trả về dữ liệu hồ sơ có cấu trúc dưới dạng JSON.

Operative framework là một framework OSINT dựa trên Rust, cho phép tương tác với nhiều mục tiêu, thực thi nhiều module, tạo liên kết với mục tiêu, xuất báo cáo sang PDF, thêm ghi chú vào mục tiêu hoặc kết quả, tương tác với RESTFul API và tự viết module riêng.

Công cụ theo dõi giá tự lưu trữ đa người dùng cho Amazon, Aliexpress, ebay và nhiều trang khác cùng với các cửa hàng tùy chỉnh. Nhận thông báo khi giá khớp với một hoặc nhiều tiêu chí do người dùng thiết lập.

Gói Python để thu thập dữ liệu bất động sản

Công cụ OSINT Slash

Thư viện Scala dùng để cào nội dung từ các trang HTML

Danh sách các trình thu thập dữ liệu (scrapers) từ khắp nơi trên web.

Tài liệu API nội bộ của Twitter