spider

Framework cào dữ liệu web

🕷 CrawlerDetect là một lớp PHP dùng để phát hiện bot/crawler/spider thông qua user agent

Tải xuống hình ảnh từ Google, Bing, Baidu.

Khung web crawler C# đa nền tảng được xây dựng vì tốc độ và tính linh hoạt. Hãy đánh dấu sao cho dự án này! +1.

BlueSky Crawler là một hệ thống thu thập dữ liệu nguồn mở miễn phí. Chỉ cần nhấp và chọn quy tắc chỉnh sửa để thu thập dữ liệu, có thể chạy trên máy cục bộ, hosting ảo hoặc máy chủ đám mox, có thể thu thập hầu như mọi loại trang web, tích hợp liền mạch với các chương trình tạo trang web CMS, đăng dữ liệu thời gian thực không cần đăng nhập, hoàn toàn tự động không cần can thiệp thủ công! Đây là một hệ thống cào dữ liệu đám mây đa nền tảng hoàn chỉnh trong phần mềm thu thập dữ liệu lớn trang web

Framework thu thập dữ liệu web (web crawling) dựa trên asyncio.

Giới thiệu trang web từ tính U3C3 và cập nhật tên miền

Thư viện trình thu thập dữ liệu hỗ trợ bởi AI linh hoạt dành cho Node.js

Trình quét ứng dụng web dựa trên Python để thu thập OSINT và fuzz tìm các lỗ hổng OWASP trên trang web mục tiêu.

Trợ lý xuất QQ Zone, dùng để sao lưu status, nhật ký, nhật ký riêng tư, album ảnh, video, bảng lưu bút, bạn bè QQ, mục yêu thích, chia sẻ, khách truy cập gần đây trên QQ Zone thành tệp, thuận tiện cho việc di chuyển và lưu trữ

Trình thu thập dữ liệu web bằng Python, kho hiện tại gồm: tải bài hát NetEase Cloud Music, tải video Bilibili, tải câu hỏi và trả lời Zhihu, tải hình nền, tải video xvideos, tải sách nói, trình thu thập Weibo, thu thập thông tin Anjuke + trực quan hóa dữ liệu, trình trích xuất ảnh bìa video Bilibili, đóng gói proxy IP, trình thu thập người dùng Zhihu quy mô triệu + phân tích dữ liệu, trình thu thập người dùng GitHub.

Web crawler của nhà lưu trữ: đầu ra WARC, bảng điều khiển cho mọi thao tác thu thập, mẫu bỏ qua động

Trình thu thập dữ liệu Douyin — thu thập dữ liệu công khai như trang cá nhân, video thích, bộ sưu tập, âm thanh gốc, chủ đề, tìm kiếm, album, tác phẩm, người theo dõi, v.v.

Tổng hợp các bài viết reverse engineering hay đã đọc, rất đáng xem

Chia sẻ mã nguồn cào dữ liệu của anh K, dịch ngược JS, nâng cao kỹ năng cào dữ liệu. Theo dõi tài khoản chính thức: K哥爬虫

📰 Công báo chính phủ Brazil, mọi người đều có thể truy cập.

Bộ công cụ kiểm toán và khai thác Cross Site Request Forgery (CSRF) hàng đầu.

Công cụ tải xuống để thu thập sách điện tử từ Internet.

Trình thu thập dữ liệu việc làm BOSS Zhipin dựa trên giao thức Chrome CDP để tái sử dụng trạng thái đăng nhập thực tế, vượt qua cơ chế chống thu thập font chữ, xuất dữ liệu lương dạng văn bản thuần túy JSON/CSV + phân tích kỹ năng lương.

Beanbun là một framework trình thu thập thông tin mạng đa tiến trình được viết bằng PHP, có tính mở tốt, khả năng mở rộng cao, dựa trên Workerman.

50 ghi chú về mô hình ngôn ngữ lớn (LLM). Kho lưu trữ này bao gồm các dự án thực tế trong các lĩnh vực học máy, học sâu, thị giác máy tính, xử lý ngôn ngữ tự nhiên, mô hình lớn và thu thập dữ liệu.

Crawly, một framework cào và thu thập dữ liệu web cấp cao dành cho Elixir.

:alien: OneBlog, một blog Java gọn gàng, đẹp mắt, mạnh mẽ và thích ứng linh hoạt

Thu thập bài viết từ tài khoản chính thức WeChat

Các tập lệnh cào dữ liệu web Python có khả năng mở rộng cho hơn 40 tên miền phổ biến

JS破解逆向，破解JS反爬虫加密参数，已破解极验滑块w（2022.2.19），QQ音乐sign（2022.2.13），拼多多anti_content，boss直聘zp_token，知乎x-zse-96，酷狗kg_mid/dfid，唯品会mars_cid，中国裁判文书网（2020-06-30更新），淘宝密码，天安保险登录，b站登录，房天下登录，WPS登录，微博登录，有道翻译，网易登录，微信公众号登录，空中网登录，今目标登录，学生信息管理系统登录，共赢金融登录，重庆科技资源共享平台登录，网易云音乐下载，一键解析视频链接，财联社登录。

Công cụ xóa watermark video ngắn bằng Golang: Douyin, Pipixia, Huoshan, Weishi, Zuiyou, Kuaishou, Quanmin Xiaoshipin, Pipigaoxiao, Xigua Video, Huya, Pear Video, Acfun, Haokan Video...

Tải xuống tiểu thuyết | Trình thu thập tiểu thuyết | Qidian | Biquge | Xuất Markdown | Xuất txt | Chuyển đổi epub | Lọc quảng cáo | Tự động hiệu chỉnh

Một trình thu thập dữ liệu web có thể cấu hình với bảng điều khiển web dễ sử dụng

Các bản phát hành, wiki và lộ trình của SpiderSuite (web security crawler)