scrapy

Nền tảng quản lý trình thu thập dữ liệu web phân tán để quản lý các spider bất kể ngôn ngữ và framework.

Giao diện cào dữ liệu WeChat Official Account dựa trên Sogou WeChat Search

Trình thu thập dữ liệu web và thương mại điện tử thực chiến bằng Python.

Các thành phần dựa trên Redis cho Scrapy.

Công cụ thu thập dữ liệu Sina Weibo được duy trì liên tục 🚀🚀🚀

🚀🚀🚀 feapder là một framework crawler dễ sử dụng và mạnh mẽ. Tích hợp sẵn bốn loại crawler AirSpider, Spider, TaskSpider, BatchSpider để giải quyết các nhu cầu trong các kịch bản khác nhau. Hỗ trợ tiếp tục cào dữ liệu khi ngắt, giám sát cảnh báo, kết xuất trình duyệt, khử trùng lặp dữ liệu lớn và nhiều tính năng khác. Cùng với hệ thống quản lý crawler mạnh mẽ feaplat hỗ trợ triển khai và điều phối thuận tiện

Framework quản lý crawler phân tán dựa trên Scrapy, Scrapyd, Django và Vue.js

Ứng dụng web quản lý cụm Scrapyd, phân tích và trực quan hóa nhật ký Scrapy, tự động đóng gói, tác vụ hẹn giờ, giám sát & cảnh báo, cùng giao diện di động. Tài liệu 文档 :point_right:

Scrapy kết hợp Splash để tích hợp JavaScript

Tải xuống hình ảnh từ Google, Bing, Baidu.

Kho lưu trữ dự án mở về cào web nhằm chia sẻ kiến thức và kinh nghiệm về web scraping bằng Python

advertools - các công cụ phân tích và năng suất tiếp thị trực tuyến

🎭 Tích hợp Playwright cho Scrapy

Bộ dữ liệu tên miền Internet đơn lẻ lớn nhất thế giới

Trình thu thập dữ liệu web bằng Python.

Yêu cầu nhanh hơn trên Python 3

抖音、快手、火山、皮皮虾，视频去水印程序

Viết web scraper bằng Ruby sử dụng một DSL sạch, được hỗ trợ bởi AI. Kimurai sử dụng AI để tìm vị trí của dữ liệu, sau đó lưu cache các bộ chọn và cào dữ liệu bằng Ruby thuần túy. Nhận sự thông minh của LLM mà không có độ trễ trên mỗi yêu cầu hoặc chi phí token.

Scrapy middleware để xử lý các trang javascript sử dụng selenium

Khung crawl đa luồng với nhiều trình crawl hình ảnh tích hợp sẵn.

HTTP API cho Scrapy spiders

API hiệu năng cao hỗ trợ bất đồng bộ cho Douyin, TikTok, Xiaohongshu, Kuaishou, Weibo, Instagram, YouTube, Twitter (X), giải mã Captcha và email tạm thời.

Trình thu thập dữ liệu Xianyu, phát triển dựa trên phiên bản web của Xianyu, sử dụng FastAPI để xây dựng giao diện tìm kiếm sản phẩm, hỗ trợ yêu cầu bất đồng bộ và tự động khử trùng lặp dữ liệu. Hiện đã hỗ trợ đăng nhập.

Bộ sưu tập các trình thu thập dữ liệu để trích xuất thông tin vị trí từ các trang web đăng tải địa điểm.

Mã nguồn hướng dẫn web scraping bằng Python đơn giản nhưng hữu ích.

Sử dụng nhiều proxy với Scrapy

Dự án trình thu thập tin tức dư luận cấp doanh nghiệp: hỗ trợ chạy một lần bất kỳ số lượng trình thu thập, tác vụ định kỳ, xóa hàng loạt; triển khai một lần; trực quan hóa giám sát; cấu hình chiến lược phân bổ cụm. Tài liệu triển khai Docker có sẵn.

spider-admin-pro là một công cụ quản lý trực quan tích hợp Scrapy+Scrapyd để xem dự án và lập lịch tác vụ爬虫, phiên bản nâng cấp của SpiderAdmin.

Một tiện ích web đa năng cho PHP.

Một framework để tạo các trình trích xuất nội dung web bán tự động