crawl

INFO-SPIDER là một hộp công cụ trình thu thập dữ liệu tích hợp nhiều nguồn dữ liệu, nhằm mục đích giúp người dùng lấy lại dữ liệu của chính họ một cách an toàn và nhanh chóng, mã công cụ là mã nguồn mở và quy trình minh bạch. Các nguồn dữ liệu được hỗ trợ bao gồm GitHub, QQ mail, NetEase mail, Ali mail, Sina mail, Hotmail, Outlook, JD.com, Taobao, Alipay, China Mobile, China Unicom, China Telecom, Zhihu, Bilibili, NetEase Cloud Music, bạn bè QQ, nhóm QQ, tạo album Moments, lịch sử duyệt web của trình duyệt, 12306, Blog园, CSDN blog, OSChina blog, Jianshu.

novel-plus là một hệ thống CMS tiểu thuyết đa nền tảng (PC, WAP) với đầy đủ tính năng. Bao gồm đề xuất tiểu thuyết, tìm kiếm, xếp hạng, đọc sách, giá sách, bình luận, trình thu thập dữ liệu, trung tâm thành viên, khu vực tác giả, nạp tiền đăng ký, phát hành tin tức và các tính năng khác.

AnyCrawl 🚀: Trình thu thập dữ liệu Node.js/TypeScript chuyển đổi trang web thành dữ liệu sẵn sàng cho LLM và trích xuất kết quả SERP có cấu trúc từ Google/Bing/Baidu, v.v. Hỗ trợ đa luồng nguyên bản để xử lý hàng loạt.

Đóng gói request dựa trên phiên bản Web của Xiaohongshu. https://reajason.github.io/xhs/

Thư viện trình thu thập dữ liệu hỗ trợ bởi AI linh hoạt dành cho Node.js

Web crawler của nhà lưu trữ: đầu ra WARC, bảng điều khiển cho mọi thao tác thu thập, mẫu bỏ qua động

Tổng hợp các bài viết reverse engineering hay đã đọc, rất đáng xem

Tavily Python SDK cho phép tương tác dễ dàng với Tavily API, cung cấp đầy đủ các tính năng tìm kiếm, trích xuất, thu thập dữ liệu, lập bản đồ và nghiên cứu trực tiếp từ các chương trình Python của bạn. Dễ dàng tích hợp khả năng tìm kiếm thông minh, trích xuất nội dung và nghiên cứu vào các ứng dụng của bạn bằng cách tận dụng các tính năng mạnh mẽ của Tavily.

JS破解逆向，破解JS反爬虫加密参数，已破解极验滑块w（2022.2.19），QQ音乐sign（2022.2.13），拼多多anti_content，boss直聘zp_token，知乎x-zse-96，酷狗kg_mid/dfid，唯品会mars_cid，中国裁判文书网（2020-06-30更新），淘宝密码，天安保险登录，b站登录，房天下登录，WPS登录，微博登录，有道翻译，网易登录，微信公众号登录，空中网登录，今目标登录，学生信息管理系统登录，共赢金融登录，重庆科技资源共享平台登录，网易云音乐下载，一键解析视频链接，财联社登录。

Công cụ chuyển đổi và thu thập dữ liệu HTML sang Markdown.