scraper

Context API để tìm kiếm, thu thập dữ liệu và tương tác với web ở quy mô lớn. 🔥

Tạo các agent giám sát và hành động thay cho bạn. Các agent của bạn đã sẵn sàng!

Một công cụ thu thập thông tin/quét web trực quan không cần mã (no-code/code-free). 易采集 (Dịch vụ thu thập dễ dàng): Một phần mềm kiểm thử tự động hóa trình duyệt/thu thập dữ liệu/quét web trực quan, có thể thiết kế và thực thi các tác vụ quét web bằng đồ họa không cần mã. Tên khác: ServiceWrapper - hệ thống đóng gói dịch vụ thông minh dành cho ứng dụng Web.

👾 Thư viện tải xuống video và công cụ CLI nhanh chóng, đơn giản được viết bằng Go

Thư viện nhanh chóng, linh hoạt và thanh lịch để phân tích và thao tác HTML, XML.

Crawlee—Một thư viện cào web và tự động hóa trình duyệt dành cho Node.js để xây dựng các trình thu thập dữ liệu đáng tin cậy. Bằng JavaScript và TypeScript. Trích xuất dữ liệu cho AI, LLMs, RAG hoặc GPTs. Tải xuống HTML, PDF, JPG, PNG và các tệp khác từ trang web. Hoạt động với Puppeteer, Playwright, Cheerio, JSDOM và HTTP thô. Cả chế độ hiển thị giao diện và không có giao diện. Có tính năng xoay proxy.

Framework cào web và thu thập dữ liệu thanh lịch dành cho Golang

🚀「Douyin_TikTok_Download_API」là một công cụ cào dữ liệu Douyin, Kuaishou, TikTok, Bilibili hiệu suất cao bất đồng bộ, sẵn sàng sử dụng ngay, hỗ trợ gọi API, phân tích và tải xuống hàng loạt trực tuyến.

🔥 Nền tảng no-code mã nguồn mở để cào web, thu thập, tìm kiếm và trích xuất dữ liệu AI • Biến các trang web thành API có cấu trúc trong vài phút 🔥

newspaper3k là công cụ trích xuất tin tức, toàn bộ văn bản và dữ liệu tả (metadata) bài viết trong Python 3. Tài liệu nâng cao:

Hệ thống quản lý phim AV, crawler avmoo, javbus, javlibrary, thư viện phim AV trực tuyến, cơ sở dữ liệu liên kết magnet AV, Thư viện phim người lớn Nhật Bản, Liên kết Magnet phim người lớn - Cơ sở dữ liệu phim người lớn Nhật Bản

Crawlee—Một thư viện cào web và tự động hóa trình duyệt dành cho Python để xây dựng các trình thu thập dữ liệu đáng tin cậy. Trích xuất dữ liệu cho AI, LLMs, RAG hoặc GPTs. Tải xuống HTML, PDF, JPG, PNG và các tệp khác từ các trang web. Hoạt động với Parsel, BeautifulSoup, Playwright và HTTP thô. Cả chế độ hiển thị giao diện và chạy ẩn. Hỗ trợ xoay proxy.

Công cụ cào dữ liệu web thông minh, tự động, nhanh chóng và nhẹ cho Python

Một bộ sưu tập các web crawler và spider tuyệt vời bằng nhiều ngôn ngữ khác nhau.

Một driver Chrome DevTools Protocol dành cho tự động hóa web và scraping.

Biến bất kỳ trang web nào thành dữ liệu có cấu trúc bằng LLM

💡 Tải xuống toàn bộ mã nguồn của bất kỳ trang web nào (bao gồm mọi tài sản) [Javascript, Stylesheets, Hình ảnh] bằng Node.js

Phân tích các hệ thống bảo vệ bot kèm theo các biện pháp đối phó có sẵn 🚿. Cách vượt qua hệ thống chống bot 👻 và né tránh các tập lệnh lấy dấu vân tay trình duyệt 🕵️‍♂️ khi thu thập dữ liệu web?

Công cụ vạn năng để cào và trích xuất dữ liệu từ các tài nguyên trực tuyến, dành cho hacker

Trình tải xuống video YouTube bằng JavaScript.

Trình cào dữ liệu Twitter API | Không cần khóa API | API nội bộ Twitter | Miễn phí | Trình cào Twitter | Bot Twitter

Thư viện trích xuất dữ liệu người dùng từ LinkedIn

Cách do cộng đồng thúc đẩy để đọc và trò chuyện với bot AI - được hỗ trợ bởi chatGPT.

Trích xuất toàn bộ tệp đa phương tiện từ một tài khoản OnlyFans - Được cập nhật thường xuyên

🔮 Một công cụ scraper Node.js thân thiện dành cho con người.

Một plugin trình cào phim Nhật Bản dành cho Emby/Jellyfin, có thể lấy thông tin phim từ một số trang web.

Nhận danh sách tên miền, thu thập URL và quét các điểm cuối, thông tin mật, khóa API, phần mở rộng tệp, mã thông báo và nhiều hơn nữa

Công cụ thu thập siêu dữ liệu phim

Bạn muốn HỌC KIẾN THỨC MỚI MIỄN PHÍ? Đừng lo, với sức mạnh của web-scraping và tự động hóa, tập lệnh này sẽ tìm các mã giảm giá Udemy cần thiết và đăng ký các KHÓA HỌC UDEMY CÓ PHÍ HOÀN TOÀN MIỄN PHÍ cho bạn!

Công cụ cào web (web scraper) mạnh mẽ được hỗ trợ bởi LLM | OpenAI, Gemini & Ollama