crawler

Prompt GPTs bị rò rỉ giúp vượt qua giới hạn 25 tin nhắn hoặc dùng thử GPTs mà không cần gói đăng ký Plus.

Framework cào dữ liệu web

🕷 CrawlerDetect là một lớp PHP dùng để phát hiện bot/crawler/spider thông qua user agent

Khung web crawler C# đa nền tảng được xây dựng vì tốc độ và tính linh hoạt. Hãy đánh dấu sao cho dự án này! +1.

Website Cloner - Sử dụng các Go routine mạnh mẽ để sao chép trang web về máy tính của bạn trong vài giây.

🏳️‍🌈 Trình tải xuống phương tiện từ bất kỳ trang web nào, bao gồm Twitter, Reddit, Instagram, BlueSky, TikTok, Threads, Facebook, OnlyFans, YouTube, Pinterest, PornHub, XHamster, XVIDEOS, ThisVid, v.v.

Chuyển đổi nội dung web thành dữ liệu sẵn sàng cho LLM

BlueSky Crawler là một hệ thống thu thập dữ liệu nguồn mở miễn phí. Chỉ cần nhấp và chọn quy tắc chỉnh sửa để thu thập dữ liệu, có thể chạy trên máy cục bộ, hosting ảo hoặc máy chủ đám mox, có thể thu thập hầu như mọi loại trang web, tích hợp liền mạch với các chương trình tạo trang web CMS, đăng dữ liệu thời gian thực không cần đăng nhập, hoàn toàn tự động không cần can thiệp thủ công! Đây là một hệ thống cào dữ liệu đám mây đa nền tảng hoàn chỉnh trong phần mềm thu thập dữ liệu lớn trang web

Framework thu thập dữ liệu web (web crawling) dựa trên asyncio.

Bộ sưu tập các mẫu web scraping. Bao gồm nhưng không giới hạn ở Taobao, JD, Tmall, Douban, Douyin, Kuaishou, Weibo, WeChat, Alibaba, Toutiao, PDD, Youku, iQiyi, Ctrip, 12306, 58, Sohu, các chỉ số khác nhau, VIP, Wanfang, ZLibrary, Oalib, tiểu thuyết, trang web đấu thầu, trang web mua sắm, Xiaohongshu, Dianping, Twitter, Maimai, Zhihu

Trình duyệt ẩn danh chống phát hiện miễn phí cho Playwright: dấu vân tay Firefox headless không bị phát hiện. Cào dữ liệu Python, vượt qua reCAPTCHA và phát hiện bot. Mã nguồn mở

Thư viện cốt lõi của NewPipe để trích xuất dữ liệu từ các trang web phát streaming

Giải pháp duyệt bộ nhớ trình duyệt (đang khám phá...)

Giới thiệu trang web từ tính U3C3 và cập nhật tên miền

Thư viện trình thu thập dữ liệu hỗ trợ bởi AI linh hoạt dành cho Node.js

Hệ thống giám sát, thu thập và chuyển tiếp nội dung đa nền tảng. Một bảng điều khiển web duy nhất quản lý Douyin / Xiaohongshu / Kuaishou.

Diskover Community Edition - Trình lập chỉ mục tệp, công cụ tìm kiếm tệp cùng quản lý và phân tích dữ liệu mã nguồn mở được hỗ trợ bởi Elasticsearch

Trình thu thập hình ảnh web đa tiến trình cho Google, Naver (Selenium)

Python binding cho các engine Modest và Lexbor. Trình phân tích cú pháp HTML5 nhanh chóng hỗ trợ CSS selectors cho Python.

Trình thu thập dữ liệu web bằng Python, kho hiện tại gồm: tải bài hát NetEase Cloud Music, tải video Bilibili, tải câu hỏi và trả lời Zhihu, tải hình nền, tải video xvideos, tải sách nói, trình thu thập Weibo, thu thập thông tin Anjuke + trực quan hóa dữ liệu, trình trích xuất ảnh bìa video Bilibili, đóng gói proxy IP, trình thu thập người dùng Zhihu quy mô triệu + phân tích dữ liệu, trình thu thập người dùng GitHub.

Web crawler của nhà lưu trữ: đầu ra WARC, bảng điều khiển cho mọi thao tác thu thập, mẫu bỏ qua động

Trình thu thập dữ liệu Douyin — thu thập dữ liệu công khai như trang cá nhân, video thích, bộ sưu tập, âm thanh gốc, chủ đề, tìm kiếm, album, tác phẩm, người theo dõi, v.v.

ScopeSentry - Lập bản đồ không gian mạng, liệt kê tên miền phụ, quét cổng, phát hiện thông tin nhạy cảm, quét lỗ hổng bảo mật, hỗ trợ các nút phân tán.

Công cụ CLI để lưu bản sao chính xác của một trang web hoàn chỉnh vào một tệp HTML duy nhất (dựa trên SingleFile)

❤️ Fredy - Tìm kiếm bất động sản cực kỳ dễ dàng - Fredy liên tục tìm kiếm căn hộ và nhà mới ở Châu Âu trên các nền tảng như ImmoScout24, Immowelt, eBay Kleinanzeigen và ngay lập tức gửi kết quả cho bạn qua Slack, Telegram, Email, Discord hoặc ntfy, giúp bạn tập trung vào những việc quan trọng hơn trong cuộc sống ;)

Trình thu thập dữ liệu hệ thống tệp Elasticsearch (FS Crawler).

Một HTTP Client bằng Python có tính công thái học và bảo vệ quyền riêng tư

Công cụ thu thập dữ liệu Xiaohongshu và tải xuống hàng loạt hình ảnh, video từ trang web với giao diện đẹp mắt (tải xuống hàng loạt, trích xuất video, hình ảnh) Telegram:https://t.me/+ZtLSwuIKTo44MDY1

Tập hợp các bản vá dành cho Puppeteer và Playwright nhằm tránh bị phát hiện tự động hóa và rò rỉ thông tin. Giúp vượt qua các trang CAPTCHA của Cloudflare và DataDome. Dễ dàng áp dụng hoặc gỡ bỏ bản vá theo nhu cầu.

Khung đo lường quyền riêng tư web