crawler

Tổng hợp các bài viết reverse engineering hay đã đọc, rất đáng xem

🤖 Tự động thu thập dữ liệu từ các trang web HTML chỉ bằng cách cung cấp ví dụ.

Chia sẻ mã nguồn cào dữ liệu của anh K, dịch ngược JS, nâng cao kỹ năng cào dữ liệu. Theo dõi tài khoản chính thức: K哥爬虫

Trình thu thập/cạo dữ liệu web Ruby nhẹ với DSL thanh lịch, trích xuất dữ liệu có cấu trúc từ các trang.

Bộ công cụ kiểm toán và khai thác Cross Site Request Forgery (CSRF) hàng đầu.

Trình quét dork nhanh nhất được viết bằng Go.

📝 Thu thập nhanh thông tin (ví dụ: người theo dõi, thẻ, v.v.) của một cấu hình Instagram.

Trình thu thập dữ liệu việc làm BOSS Zhipin dựa trên giao thức Chrome CDP để tái sử dụng trạng thái đăng nhập thực tế, vượt qua cơ chế chống thu thập font chữ, xuất dữ liệu lương dạng văn bản thuần túy JSON/CSV + phân tích kỹ năng lương.

Beanbun là một framework trình thu thập thông tin mạng đa tiến trình được viết bằng PHP, có tính mở tốt, khả năng mở rộng cao, dựa trên Workerman.

Trình tải xuống truyện tranh Bilibili hữu ích với giao diện đồ họa, hỗ trợ tìm kiếm từ khóa, đăng nhập bằng mã QR, tải xuống các chương chưa mở khóa, tải xuống đa luồng, nhiều định dạng lưu trữ, quản lý truyện tranh cục bộ và kiểm tra cập nhật chỉ với một cú nhấp chuột.

Công cụ duyệt tự động ứng dụng dựa trên appium

Dễ dàng tải xuống tất cả ảnh/video từ các blog Tumblr.

📰 Newspaper4k, một nhánh (fork) của Newspaper3k được yêu thích. Trích xuất bài viết, tiêu đề và siêu dữ liệu từ các trang web tin tức.

Máy chủ tìm kiếm doanh nghiệp và trang web tự lưu trữ, mã nguồn mở được xây dựng trên OpenSearch. Thu thập dữ liệu web / tệp / cơ sở dữ liệu / đám mây, hơn 20 ngôn ngữ, REST API, cùng với AI/RAG và tìm kiếm ngữ nghĩa. Apache-2.0.

Chạy trình thu thập dữ liệu lưu trữ web dựa trên trình duyệt có độ trung thực cao trong một container Docker duy nhất

Crawly, một framework cào và thu thập dữ liệu web cấp cao dành cho Elixir.

Viết web scraper bằng Ruby sử dụng một DSL sạch, được hỗ trợ bởi AI. Kimurai sử dụng AI để tìm vị trí của dữ liệu, sau đó lưu cache các bộ chọn và cào dữ liệu bằng Ruby thuần túy. Nhận sự thông minh của LLM mà không có độ trễ trên mỗi yêu cầu hoặc chi phí token.

Các tập lệnh cào dữ liệu web Python có khả năng mở rộng cho hơn 40 tên miền phổ biến

Công cụ xóa watermark video ngắn bằng Golang: Douyin, Pipixia, Huoshan, Weishi, Zuiyou, Kuaishou, Quanmin Xiaoshipin, Pipigaoxiao, Xigua Video, Huya, Pear Video, Acfun, Haokan Video...

Một HTTP Client bằng Rust tiện dụng và tôn trọng quyền riêng tư.

Tải xuống tiểu thuyết | Trình thu thập tiểu thuyết | Qidian | Biquge | Xuất Markdown | Xuất txt | Chuyển đổi epub | Lọc quảng cáo | Tự động hiệu chỉnh

Công cụ cào dữ liệu Google Play cho Python, lấy cảm hứng từ <facundoolano/google-play-scraper>

Công cụ dành cho pixiv.net. Trình thu thập dữ liệu pixiv mà mọi người đều có thể sử dụng

Trình thu thập dữ liệu web có thể mở rộng, trưởng thành và linh hoạt dựa trên Apache Storm

Các bản phát hành, wiki và lộ trình của SpiderSuite (web security crawler)

Giải pháp thay thế Firecrawl/Tavily nhanh, nhẹ viết bằng Rust. Web scraper, crawler và API tìm kiếm với máy chủ MCP cho AI agents. API tương thích với Firecrawl (/scrape, /crawl, /search). Nhanh hơn 2.3 lần so với Tavily và 1.5 lần so với Firecrawl trong các bài kiểm tra 1K-URL. RAM 6 MB, tệp nhị phân đơn lẻ. Hỗ trợ tự lưu trữ hoặc sử dụng cloud được quản lý.

Trình thu thập / cào dữ liệu web hiệu suất cao bằng Elixir.

Các công cụ giao thức thuần Python và ghi chú nghiên cứu cho X.com, kèm theo tập dữ liệu tài khoản Twitter VibeLoft

Khung crawl đa luồng với nhiều trình crawl hình ảnh tích hợp sẵn.

ChatWeb có thể cào trang web, đọc PDF, DOCX, TXT và trích xuất nội dung chính, sau đó trả lời các câu hỏi của bạn dựa trên nội dung hoặc tóm tắt các điểm chính.