scraping

Geziyor, framework cào và thu thập dữ liệu web cực nhanh dành cho Go. Hỗ trợ kết xuất JS.

Thư viện Python và CLI để trích xuất dữ liệu X/Twitter với cơ chế xoay vòng nhiều tài khoản và xử lý giới hạn tần suất tích hợp.

Lấy dữ liệu web cho các tác nhân AI và LLM

Một máy chủ Model Context Protocol (MCP) mạnh mẽ cung cấp giải pháp tất cả trong một để truy cập web công khai.

Nhân trình duyệt bảo mật nâng cao với cơ chế phòng thủ dấu vân tay thống nhất: Cloudflare, Akamai, Kasada, Shape, DataDome, PerimeterX, hCaptcha, FunCaptcha, Imperva, reCAPTCHA, ThreatMetrix, Adscore

Các công cụ lấy dấu vân tay trình duyệt để ẩn danh hóa các trình thu thập dữ liệu web của bạn. Được phát triển bởi Apify.

Danh sách chọn lọc các tài nguyên tuyệt vời về Puppeteer.

Một tiện ích dòng lệnh (CLI) để chụp ảnh màn hình trang web, quay video demo và cào dữ liệu trang web bằng JavaScript

Framework cào dữ liệu web

Bảng gian lận OSINT, danh sách công cụ OSINT, wiki, tập dữ liệu, bài viết, sách, OSINT nhóm đỏ cho hacker và các mẹo OSINT cũng như nhánh OSINT. Kho lưu trữ này sẽ phát triển mỗi khi có nghiên cứu, có nghiên cứu, khoa học và công nghệ, hướng dẫn. Vui lòng sử dụng một cách khôn ngoan.

Lấy thông tin từ bất kỳ dịch vụ web hoặc trang web nào

Trình duyệt ẩn danh chống phát hiện miễn phí cho Playwright: dấu vân tay Firefox headless không bị phát hiện. Cào dữ liệu Python, vượt qua reCAPTCHA và phát hiện bot. Mã nguồn mở

Internet-in-a-Box - Xây dựng THƯ VIỆN ALEXANDRIA của riêng bạn với Raspberry Pi!

Danh sách các công cụ và trình duyệt chống phát hiện, giả lập hành vi người dùng, bao gồm giải mã captcha và kích hoạt SMS.

Ẩn IP của công cụ cào dữ liệu của bạn sau đám mây. Triển khai máy chủ proxy trên các nhà cung cấp đám mây khác nhau để cải thiện tỷ lệ thành công khi cào dữ liệu.

Trong hướng dẫn này, chúng tôi trình bày cách thu thập dữ liệu công khai của Google bằng Python và Oxylabs API.

Lấy dữ liệu sạch từ các tài liệu phức tạp, được hỗ trợ bởi các mô hình thị giác-ngôn ngữ ⚡

AgentQL là bộ công cụ kết nối AI của bạn với web. Tích hợp ngôn ngữ truy vấn và Playwright để tương tác với các phần tử và trích xuất dữ liệu nhanh chóng, chính xác và quy mô lớn. Bao gồm REST API, Python và JavaScript SDK, công cụ gỡ lỗi trình duyệt.

Tập hợp các bản vá dành cho Puppeteer và Playwright nhằm tránh bị phát hiện tự động hóa và rò rỉ thông tin. Giúp vượt qua các trang CAPTCHA của Cloudflare và DataDome. Dễ dàng áp dụng hoặc gỡ bỏ bản vá theo nhu cầu.

🤖 Tự động thu thập dữ liệu từ các trang web HTML chỉ bằng cách cung cấp ví dụ.

📰 Công báo chính phủ Brazil, mọi người đều có thể truy cập.

Bot tạo tài khoản Gmail hàng loạt tự động mã nguồn mở với Selenium & Seleniumwire (Python). Hãy liên hệ với tôi về Django/Flask, ML, AI, GPT, Tự động hóa, Scraping.

Thư viện nhẹ để cào dữ liệu trang web bằng LLM

Parsel cho phép bạn trích xuất dữ liệu từ tài liệu XML/HTML bằng XPath hoặc bộ chọn CSS

Xem mọi thứ từ terminal của bạn.

Proxy dân cư xoay vòng HTTP(S)/SOCKS5 - mã nguồn mẫu & thông tin chung.

🎭 Trình tạo tiêu đề trình duyệt và dấu vân tay thông minh

Một giải pháp thay thế mã nguồn mở cho searx, cung cấp công cụ tìm kiếm tổng hợp có giao diện hiện đại, cực nhanh, tôn trọng quyền riêng tư và bảo mật

Framework dịch vụ mô-đun để di chuyển và chuyển đổi các gói mạng

Công cụ cho các nền tảng chấm bài trực tuyến khác nhau. Tải xuống các trường hợp mẫu, tạo các trường hợp kiểm thử bổ sung, kiểm tra mã của bạn và gửi nó.