spider

Một công cụ thu thập thông tin/quét web trực quan không cần mã (no-code/code-free). 易采集 (Dịch vụ thu thập dễ dàng): Một phần mềm kiểm thử tự động hóa trình duyệt/thu thập dữ liệu/quét web trực quan, có thể thiết kế và thực thi các tác vụ quét web bằng đồ họa không cần mã. Tên khác: ServiceWrapper - hệ thống đóng gói dịch vụ thông minh dành cho ứng dụng Web.

Framework cào web và thu thập dữ liệu thanh lịch dành cho Golang

ProxyPool Python dành cho web crawler.

🚀「Douyin_TikTok_Download_API」là một công cụ cào dữ liệu Douyin, Kuaishou, TikTok, Bilibili hiệu suất cao bất đồng bộ, sẵn sàng sử dụng ngay, hỗ trợ gọi API, phân tích và tải xuống hàng loạt trực tuyến.

Một số ví dụ về trình thu thập dữ liệu web bằng python rất thú vị và thân thiện với người mới bắt đầu, chủ yếu thu thập dữ liệu từ các trang web như Taobao, Tmall, WeChat, WeChat Read, Douban, QQ, v.v.

Trình thu thập dữ liệu cực nhanh được thiết kế cho OSINT.

Nền tảng quản lý trình thu thập dữ liệu web phân tán để quản lý các spider bất kể ngôn ngữ và framework.

Phần mềm ghi hình phát trực tiếp có thể giám sát lặp lại và ghi hình nhiều người dùng, hỗ trợ ghi hình trực tiếp từ hơn 40 nền tảng như Douyin, TikTok, Youtube, Kuaishou, Huya, Douyu, Bilibili, Xiaohongshu, pandatv, sooplive, flextv, popkontv, twitcasting, winktv, Baidu, Weibo, Kugou, 17Live, Twitch, Acfun, CHZZK, shopee, v.v.

Hệ thống quản lý phim AV, crawler avmoo, javbus, javlibrary, thư viện phim AV trực tuyến, cơ sở dữ liệu liên kết magnet AV, Thư viện phim người lớn Nhật Bản, Liên kết Magnet phim người lớn - Cơ sở dữ liệu phim người lớn Nhật Bản

INFO-SPIDER là một hộp công cụ trình thu thập dữ liệu tích hợp nhiều nguồn dữ liệu, nhằm mục đích giúp người dùng lấy lại dữ liệu của chính họ một cách an toàn và nhanh chóng, mã công cụ là mã nguồn mở và quy trình minh bạch. Các nguồn dữ liệu được hỗ trợ bao gồm GitHub, QQ mail, NetEase mail, Ali mail, Sina mail, Hotmail, Outlook, JD.com, Taobao, Alipay, China Mobile, China Unicom, China Telecom, Zhihu, Bilibili, NetEase Cloud Music, bạn bè QQ, nhóm QQ, tạo album Moments, lịch sử duyệt web của trình duyệt, 12306, Blog园, CSDN blog, OSChina blog, Jianshu.

Danh sách các thư viện, công cụ và API dùng cho web scraping và xử lý dữ liệu.

Pholcus là một phần mềm trình thu thập dữ liệu phân tán, đồng thời cao được viết bằng thuần Golang

Một bộ sưu tập các web crawler và spider tuyệt vời bằng nhiều ngôn ngữ khác nhau.

Web Crawler/Spider cho NodeJS kết hợp server-side jQuery ;-)

Đồng bộ bài viết một chạm lên nhiều nền tảng nội dung, hỗ trợ Toutiao, WordPress, Zhihu, Jianshu, Juejin, CSDN, Typecho và các nền tảng lớn khác. Đăng một lần, đồng bộ đa nền tảng. Giải phóng năng suất cá nhân

Công cụ OSINT Dark Web

novel-plus là một hệ thống CMS tiểu thuyết đa nền tảng (PC, WAP) với đầy đủ tính năng. Bao gồm đề xuất tiểu thuyết, tìm kiếm, xếp hạng, đọc sách, giá sách, bình luận, trình thu thập dữ liệu, trung tâm thành viên, khu vực tác giả, nạp tiền đăng ký, phát hành tin tức và các tính năng khác.

🚀🚀🚀 feapder là một framework crawler dễ sử dụng và mạnh mẽ. Tích hợp sẵn bốn loại crawler AirSpider, Spider, TaskSpider, BatchSpider để giải quyết các nhu cầu trong các kịch bản khác nhau. Hỗ trợ tiếp tục cào dữ liệu khi ngắt, giám sát cảnh báo, kết xuất trình duyệt, khử trùng lặp dữ liệu lớn và nhiều tính năng khác. Cùng với hệ thống quản lý crawler mạnh mẽ feaplat hỗ trợ triển khai và điều phối thuận tiện

Mọi trang web đều cung cấp API.

Framework quản lý crawler phân tán dựa trên Scrapy, Scrapyd, Django và Vue.js

Trình thu thập dữ liệu (crawler) bài viết trên WeChat Official Account

Ứng dụng web quản lý cụm Scrapyd, phân tích và trực quan hóa nhật ký Scrapy, tự động đóng gói, tác vụ hẹn giờ, giám sát & cảnh báo, cùng giao diện di động. Tài liệu 文档 :point_right:

Gospider - Trình thu thập dữ liệu web nhanh được viết bằng Go

Công cụ xóa hình mờ video ngắn: Douyin, Pipixia, Huoshan, Weishi, Weibo, Oasis, Zuiyou, Qingshipin, Kuaishou, Quanmin Xiaoshipin, Basemovie, Momo, Before, Eye, Vue Vlog, Xiaokaxiu, Pipi Gaoxiao, Quanmin Kge, Xigua Video, Doupai, Huya, 6rooms, Pear Video, Xinpianchang, AcFun, Meipai...

owllook - Công cụ tìm kiếm tiểu thuyết

DecryptLogin: Các API để đăng nhập vào một số trang web bằng cách sử dụng requests.

Geziyor, framework cào và thu thập dữ liệu web cực nhanh dành cho Go. Hỗ trợ kết xuất JS.

Hướng dẫn thực hành ngôn ngữ Go từ cơ bản đến nâng cao, bao gồm sử dụng thư viện cơ bản, mẫu thiết kế, điểm dễ sai khi phỏng vấn, lớp công cụ, tích hợp bên thứ ba, v.v.

:spider: Framework PHP crawler tịnh tiến thanh lịch!

Lấy dữ liệu web cho các tác nhân AI và LLM