crawler

Trình thu thập dữ liệu web và thương mại điện tử thực chiến bằng Python.

Các thành phần dựa trên Redis cho Scrapy.

Phân tích các hệ thống bảo vệ bot kèm theo các biện pháp đối phó có sẵn 🚿. Cách vượt qua hệ thống chống bot 👻 và né tránh các tập lệnh lấy dấu vân tay trình duyệt 🕵️‍♂️ khi thu thập dữ liệu web?

Công cụ OSINT Dark Web

Bộ sưu tập các vụ án vi phạm pháp luật tại Trung Quốc liên quan đến web crawler. Dự án này nhằm tổng hợp tin tức, tài liệu và luật pháp liên quan đến việc kiện tụng và vi phạm của các nhà phát triển crawler tại Trung Quốc đại lục, giúp người làm trong ngành hiểu rõ luật pháp để tránh vi phạm quy định về dữ liệu.

Trình thu thập dữ liệu Sina Weibo, sử dụng Python để thu thập dữ liệu Sina Weibo, đồng thời tải xuống hình ảnh và video trên Weibo.

Cách do cộng đồng thúc đẩy để đọc và trò chuyện với bot AI - được hỗ trợ bởi chatGPT.

Công cụ tải truyện tranh và tiểu thuyết: Tencent Comics, DaJiaoChong, U17, Migu, SF Comic, O Comic, Kan Manhua, Manhuagui, Hanhankuman, DM5, Kuaikan Manhua, Weibo Comic, 733, Dagu, ComicDB, 1mh, Dmzj, Katu, Gufeng, 36MH, Qinqin, Otome, Webtoons, Dongman, NicoNico Seiga, ComicWalker, Young Ace UP, Moai, pixivコミック, Cycomi, Alphaapolis, Kakuyomu, Hameln, Shousetsuka ni Narou, Qidian, Bayi, Dingsian, Luoxia, Nunu, Biquge thành epub.

Proxy [Finder | Checker | Server]. HTTP(S) & SOCKS :performing_arts:

DotnetSpider, một thư viện web crawling chuẩn .NET. Đây là một framework thu thập và cào dữ liệu web cấp cao nhẹ nhàng, hiệu quả và nhanh chóng

Pool proxy thông minh dành cho con người™ để trích xuất nội dung từ internet và xây dựng Large Language Model của riêng bạn trong kỷ nguyên AI mới này

API .NET cho Headless Chrome

Nhận danh sách tên miền, thu thập URL và quét các điểm cuối, thông tin mật, khóa API, phần mở rộng tệp, mã thông báo và nhiều hơn nữa

Công cụ tất cả trong một để thu thập thông tin, quét lỗ hổng và thu thập dữ liệu (crawling). Công cụ không thể thiếu cho mọi kỹ sư kiểm thử xâm nhập

🚀🚀🚀 feapder là một framework crawler dễ sử dụng và mạnh mẽ. Tích hợp sẵn bốn loại crawler AirSpider, Spider, TaskSpider, BatchSpider để giải quyết các nhu cầu trong các kịch bản khác nhau. Hỗ trợ tiếp tục cào dữ liệu khi ngắt, giám sát cảnh báo, kết xuất trình duyệt, khử trùng lặp dữ liệu lớn và nhiều tính năng khác. Cùng với hệ thống quản lý crawler mạnh mẽ feaplat hỗ trợ triển khai và điều phối thuận tiện

Công cụ thu thập siêu dữ liệu phim

Mọi trang web đều cung cấp API.

Trình thu thập dữ liệu trình duyệt mạnh mẽ dành cho các trình quét lỗ hổng web

Gospider - Trình thu thập dữ liệu web nhanh được viết bằng Go

Công cụ trinh sát web tất cả trong một

Trình cào dữ liệu Node.js để lấy dữ liệu từ Google Play

owllook - Công cụ tìm kiếm tiểu thuyết

DecryptLogin: Các API để đăng nhập vào một số trang web bằng cách sử dụng requests.

https://spatie.be/docs/crawler

Geziyor, framework cào và thu thập dữ liệu web cực nhanh dành cho Go. Hỗ trợ kết xuất JS.

Videodl: Trình tải xuống video gọn nhẹ được viết bằng Python thuần túy

:spider: Framework PHP crawler tịnh tiến thanh lịch!

Lấy dữ liệu web cho các tác nhân AI và LLM

Trình thu thập dữ liệu web nhẹ, dễ sử dụng

news-please - một trình thu thập dữ liệu web và trích xuất thông tin tích hợp dành cho tin tức hoạt động mượt mà