crawler

Context API để tìm kiếm, thu thập dữ liệu và tương tác với web ở quy mô lớn. 🔥

🕷️ Một framework Web Scraping thích ứng xử lý mọi thứ từ một yêu cầu đơn lẻ đến việc thu thập dữ liệu quy mô lớn!

Scrapy, một framework cào và thu thập dữ liệu web cấp cao, tốc độ cao dành cho Python.

Một công cụ thu thập thông tin/quét web trực quan không cần mã (no-code/code-free). 易采集 (Dịch vụ thu thập dễ dàng): Một phần mềm kiểm thử tự động hóa trình duyệt/thu thập dữ liệu/quét web trực quan, có thể thiết kế và thực thi các tác vụ quét web bằng đồ họa không cần mã. Tên khác: ServiceWrapper - hệ thống đóng gói dịch vụ thông minh dành cho ứng dụng Web.

👾 Thư viện tải xuống video và công cụ CLI nhanh chóng, đơn giản được viết bằng Go

Bot ứng tuyển công việc AI mã nguồn mở bằng Python: tự động hóa trình duyệt và cạo web để đọc tin tuyển dụng, sau đó tự động nộp đơn với sơ yếu lý lịch và thư xin việc được cá nhân hóa cho từng tin tuyển dụng.

Công cụ cào dữ liệu Python dựa trên AI

Crawlee—Một thư viện cào web và tự động hóa trình duyệt dành cho Node.js để xây dựng các trình thu thập dữ liệu đáng tin cậy. Bằng JavaScript và TypeScript. Trích xuất dữ liệu cho AI, LLMs, RAG hoặc GPTs. Tải xuống HTML, PDF, JPG, PNG và các tệp khác từ trang web. Hoạt động với Puppeteer, Playwright, Cheerio, JSDOM và HTTP thô. Cả chế độ hiển thị giao diện và không có giao diện. Có tính năng xoay proxy.

Framework cào web và thu thập dữ liệu thanh lịch dành cho Golang

ProxyPool Python dành cho web crawler.

🚀「Douyin_TikTok_Download_API」là một công cụ cào dữ liệu Douyin, Kuaishou, TikTok, Bilibili hiệu suất cao bất đồng bộ, sẵn sàng sử dụng ngay, hỗ trợ gọi API, phân tích và tải xuống hàng loạt trực tuyến.

Một framework cào dữ liệu và spider thế hệ mới.

🔥 Nền tảng no-code mã nguồn mở để cào web, thu thập, tìm kiếm và trích xuất dữ liệu AI • Biến các trang web thành API có cấu trúc trong vài phút 🔥

newspaper3k là công cụ trích xuất tin tức, toàn bộ văn bản và dữ liệu tả (metadata) bài viết trong Python 3. Tài liệu nâng cao:

Một số ví dụ về trình thu thập dữ liệu web bằng python rất thú vị và thân thiện với người mới bắt đầu, chủ yếu thu thập dữ liệu từ các trang web như Taobao, Tmall, WeChat, WeChat Read, Douban, QQ, v.v.

Trình thu thập dữ liệu cực nhanh được thiết kế cho OSINT.

Nền tảng quản lý trình thu thập dữ liệu web phân tán để quản lý các spider bất kể ngôn ngữ và framework.

Một khung web crawler có khả năng mở rộng cho Java.

Script Python. Mô phỏng đăng nhập Zhihu, trình thu thập dữ liệu (crawler), thao tác excel, tài khoản chính thức WeChat, bật nguồn từ xa

Hệ thống quản lý phim AV, crawler avmoo, javbus, javlibrary, thư viện phim AV trực tuyến, cơ sở dữ liệu liên kết magnet AV, Thư viện phim người lớn Nhật Bản, Liên kết Magnet phim người lớn - Cơ sở dữ liệu phim người lớn Nhật Bản

Crawlee—Một thư viện cào web và tự động hóa trình duyệt dành cho Python để xây dựng các trình thu thập dữ liệu đáng tin cậy. Trích xuất dữ liệu cho AI, LLMs, RAG hoặc GPTs. Tải xuống HTML, PDF, JPG, PNG và các tệp khác từ các trang web. Hoạt động với Parsel, BeautifulSoup, Playwright và HTTP thô. Cả chế độ hiển thị giao diện và chạy ẩn. Hỗ trợ xoay proxy.

Agent thu hút khách hàng truyền thông tự phát được thiết kế riêng cho các doanh nghiệp vừa, nhỏ và vi mô

Danh sách các thư viện, công cụ và API dùng cho web scraping và xử lý dữ liệu.

Công cụ cào dữ liệu web thông minh, tự động, nhanh chóng và nhẹ cho Python

Một bộ sưu tập các web crawler và spider tuyệt vời bằng nhiều ngôn ngữ khác nhau.

Pydoll là một thư viện tự động hóa các trình duyệt dựa trên Chromium không cần WebDriver, mang lại các tương tác thực tế.

Python API cho JMComic | Cung cấp Python API truy cập JMComic, hỗ trợ cả phiên bản web và di động | Trình tải xuống JMComic qua GitHub Actions 🚀

Web Crawler/Spider cho NodeJS kết hợp server-side jQuery ;-)

Công cụ Python & dòng lệnh thu thập văn bản và siêu dữ liệu trên web: Thu thập, cào dữ liệu, trích xuất, xuất ra định dạng CSV, JSON, HTML, MD, TXT, XML

Giao diện cào dữ liệu WeChat Official Account dựa trên Sogou WeChat Search