web-scraping

Một framework tự động hóa trình duyệt ẩn danh.

Thư viện web spidering linh hoạt cho Ruby, có thể quét một trang web, nhiều tên miền, các liên kết cụ thể hoặc vô hạn. Spidr được thiết kế để nhanh chóng và dễ sử dụng.

Uscrapper Vanta: Khám phá web sâu hơn với công cụ mã nguồn mở mạnh mẽ này. Trích xuất thông tin giá trị một cách dễ dàng và hiệu quả từ cả nguồn web bề mặt và web sâu. Tăng cường khả năng khai thác và phân tích dữ liệu với các tính năng nâng cao của Vanta. Nhanh chóng, đáng tin cậy và thân thiện với người dùng, Uscrapper Vanta là lựa chọn tối ưu cho các nhà nghiên cứu và phân tích.

Công cụ scraping tự lưu trữ — vượt qua mọi thử thách JS và captcha: Cloudflare, Turnstile, reCAPTCHA, hCaptcha, GeeTest. Giải pháp thay thế cho FlareSolverr và Byparr cho ngăn xếp *arr của bạn.

Phiên bản NodeJS của thư viện kiểm thử và tự động hóa Playwright với khả năng chống phát hiện.

Hướng dẫn sử dụng Google Sheets để cào dữ liệu web cơ bản

Gói Python cho kết quả tìm kiếm Google thông qua SERP API

Biến bất kỳ ứng dụng web nào thành API. Tiện ích mở rộng Chrome ghi lại lưu lượng truy cập trình duyệt, tự động tạo lược đồ và cho phép AI phát lại API trực tiếp mà không cần API chính thức.

Công cụ tự động quét mã khuyến mãi ChatGPT Team (Business) — khám phá hàng loạt, xác thực, thu thập giá, hỗ trợ 34 mã tại 17 quốc gia, giảm giá lên tới 71%

🤖 Trình chỉnh sửa cào dữ liệu web hỗ trợ AI với trình xây dựng quy trình làm việc trực quan. Xây dựng, kiểm tra và triển khai các trình cào web bằng ngôn ngữ tự nhiên. Được hỗ trợ bởi ScrapeGraphAI và LangGraph.

Xếp chồng các khối trực quan để xây dựng quy trình làm việc trên trình duyệt phức tạp và thực thi chúng thông qua API.

Giải pháp thay thế Firecrawl mã nguồn mở hoàn toàn miễn phí với khả năng trích xuất liên kết tốt hơn cho các tác nhân - bạn có thể tự triển khai lên Cloudflare hoặc Vercel.

Thực thi các tập lệnh tự động hóa phức tạp thông qua các phiên đám mây từ xa, bao gồm proxy dân cư tích hợp, giải CAPTCHA tự động và kết xuất JavaScript gốc cho các trang web động khó xử lý nhất.

Vòng đời hoàn chỉnh của một dự án khoa học dữ liệu

Công cụ phân tích và xử lý luồng video mạng dành cho CCTV.

Một công cụ Node.js dựa trên Playwright giúp vượt qua các cơ chế chống cào dữ liệu của công cụ tìm kiếm để thực hiện tìm kiếm trên Google. Giải pháp thay thế cục bộ cho các API SERP với tích hợp máy chủ MCP.

Một tiện ích web đa năng cho PHP.

Máy khách HTTP có khả năng giả mạo dấu vân tay tls/http2 của trình duyệt web

Lấy dữ liệu người dùng trên các mạng xã hội

Web-scraping không bị phát hiện và phân tích HTML liền mạch trong Python!

Cơ sở hạ tầng web mã nguồn mở cho AI. Cào, thu thập và tự động hóa web, làm sạch markdown, phiên trình duyệt, sẵn sàng cho các tác nhân (agents) của bạn

API thống kê NBA thông qua Basketball Reference

Trang web tĩnh dựa trên Jekyll cho The Programming Historian

CLI nhanh, không trạng thái để tìm kiếm và thu thập dữ liệu web. Được xây dựng cho các tác nhân AI.

Automate scraping hotel data including pricing, availability, ratings, and booking providers with a Google Hotels API integration.

Phần mềm phân tích trực quan hóa dữ liệu bình luận Bilibili - giúp các nhà sáng tạo nội dung định hướng chủ đề và xác định nhóm người hâm mộ của mình

A skill for AI agents: search the web with SearXNG, browse with Camofox, bypass protections with CloakBrowser. Anti-hallucination by design. Self-hosted, free, unlimited.

Hướng dẫn nhanh bằng Python để tận dụng tối đa bản dùng thử miễn phí Web Scraper API của Oxylabs.

Một framework để tạo các trình trích xuất nội dung web bán tự động