crawling

🕷️ Một framework Web Scraping thích ứng xử lý mọi thứ từ một yêu cầu đơn lẻ đến việc thu thập dữ liệu quy mô lớn!

Scrapy, một framework cào và thu thập dữ liệu web cấp cao, tốc độ cao dành cho Python.

Crawlee—Một thư viện cào web và tự động hóa trình duyệt dành cho Node.js để xây dựng các trình thu thập dữ liệu đáng tin cậy. Bằng JavaScript và TypeScript. Trích xuất dữ liệu cho AI, LLMs, RAG hoặc GPTs. Tải xuống HTML, PDF, JPG, PNG và các tệp khác từ trang web. Hoạt động với Puppeteer, Playwright, Cheerio, JSDOM và HTTP thô. Cả chế độ hiển thị giao diện và không có giao diện. Có tính năng xoay proxy.

Framework cào web và thu thập dữ liệu thanh lịch dành cho Golang

🔥 Nền tảng no-code mã nguồn mở để cào web, thu thập, tìm kiếm và trích xuất dữ liệu AI • Biến các trang web thành API có cấu trúc trong vài phút 🔥

newspaper3k là công cụ trích xuất tin tức, toàn bộ văn bản và dữ liệu tả (metadata) bài viết trong Python 3. Tài liệu nâng cao:

Crawlee—Một thư viện cào web và tự động hóa trình duyệt dành cho Python để xây dựng các trình thu thập dữ liệu đáng tin cậy. Trích xuất dữ liệu cho AI, LLMs, RAG hoặc GPTs. Tải xuống HTML, PDF, JPG, PNG và các tệp khác từ các trang web. Hoạt động với Parsel, BeautifulSoup, Playwright và HTTP thô. Cả chế độ hiển thị giao diện và chạy ẩn. Hỗ trợ xoay proxy.

Danh sách các thư viện, công cụ và API dùng cho web scraping và xử lý dữ liệu.

Một driver Chrome DevTools Protocol dành cho tự động hóa web và scraping.

Trình thu thập thông tin web đơn giản, nhanh chóng được thiết kế để dễ dàng và nhanh chóng phát hiện các endpoint và tài nguyên trong một ứng dụng web.

Exa MCP cho tìm kiếm web và cào dữ liệu web!

Danh sách các AI agent và robot cần chặn.

API .NET cho Headless Chrome

Nhận danh sách tên miền, thu thập URL và quét các điểm cuối, thông tin mật, khóa API, phần mở rộng tệp, mã thông báo và nhiều hơn nữa

Apache Nutch là một trình thu thập thông tin web (web crawler) có thể mở rộng và nâng cấp quy mô

Danh sách chọn lọc các tài nguyên tuyệt vời về Puppeteer.

Framework cào dữ liệu web

📅🇨🇳 Dữ liệu ngày nghỉ lễ chính thức của Trung Quốc, tự động thu thập thông báo từ Quốc vụ viện hàng ngày

BlueSky Crawler là một hệ thống thu thập dữ liệu nguồn mở miễn phí. Chỉ cần nhấp và chọn quy tắc chỉnh sửa để thu thập dữ liệu, có thể chạy trên máy cục bộ, hosting ảo hoặc máy chủ đám mox, có thể thu thập hầu như mọi loại trang web, tích hợp liền mạch với các chương trình tạo trang web CMS, đăng dữ liệu thời gian thực không cần đăng nhập, hoàn toàn tự động không cần can thiệp thủ công! Đây là một hệ thống cào dữ liệu đám mây đa nền tảng hoàn chỉnh trong phần mềm thu thập dữ liệu lớn trang web

Bộ công cụ web scraping hoàn chỉnh cho PHP.

Tập hợp các bản vá dành cho Puppeteer và Playwright nhằm tránh bị phát hiện tự động hóa và rò rỉ thông tin. Giúp vượt qua các trang CAPTCHA của Cloudflare và DataDome. Dễ dàng áp dụng hoặc gỡ bỏ bản vá theo nhu cầu.

🤖 Tự động thu thập dữ liệu từ các trang web HTML chỉ bằng cách cung cấp ví dụ.

Mã ví dụ cho cuốn sách 'Tự động hóa công việc giúp hoàn thành khối lượng công việc 6 tháng trong một ngày' (Saengneung Publishing, 2020). Dành cho người chưa từng học Python, cung cấp các ví dụ từ Excel đến thiết kế, macro và thu thập dữ liệu.

Chạy trình thu thập dữ liệu lưu trữ web dựa trên trình duyệt có độ trung thực cao trong một container Docker duy nhất

Crawly, một framework cào và thu thập dữ liệu web cấp cao dành cho Elixir.

Các tập lệnh cào dữ liệu web Python có khả năng mở rộng cho hơn 40 tên miền phổ biến

Scrapy middleware để xử lý các trang javascript sử dụng selenium

hôm nay chúng ta sẽ hack bảng quản trị của trang web.

SiteOne Crawler là trình thu thập và phân tích trang web đa nền tảng dành cho SEO, bảo mật, khả năng truy cập và tối ưu hóa hiệu suất—lý tưởng cho các nhà phát triển, DevOps, kỹ sư QA và tư vấn viên. Hỗ trợ Windows, macOS và Linux (x64 và arm64).

HTTP API cho Scrapy spiders