apify

Crawlee—Một thư viện cào web và tự động hóa trình duyệt dành cho Node.js để xây dựng các trình thu thập dữ liệu đáng tin cậy. Bằng JavaScript và TypeScript. Trích xuất dữ liệu cho AI, LLMs, RAG hoặc GPTs. Tải xuống HTML, PDF, JPG, PNG và các tệp khác từ trang web. Hoạt động với Puppeteer, Playwright, Cheerio, JSDOM và HTTP thô. Cả chế độ hiển thị giao diện và không có giao diện. Có tính năng xoay proxy.

Crawlee—Một thư viện cào web và tự động hóa trình duyệt dành cho Python để xây dựng các trình thu thập dữ liệu đáng tin cậy. Trích xuất dữ liệu cho AI, LLMs, RAG hoặc GPTs. Tải xuống HTML, PDF, JPG, PNG và các tệp khác từ các trang web. Hoạt động với Parsel, BeautifulSoup, Playwright và HTTP thô. Cả chế độ hiển thị giao diện và chạy ẩn. Hỗ trợ xoay proxy.

Apify MCP server cho phép các AI agent của bạn trích xuất dữ liệu từ mạng xã hội, công cụ tìm kiếm, bản đồ, trang thương mại điện tử hoặc bất kỳ trang web nào khác bằng cách sử dụng hàng nghìn scraper, crawler và công cụ tự động hóa có sẵn trên Apify Store.

Các công cụ lấy dấu vân tay trình duyệt để ẩn danh hóa các trình thu thập dữ liệu web của bạn. Được phát triển bởi Apify.

Bộ sưu tập các kỹ năng Apify agent

Thư viện Node.js triển khai máy chủ proxy (tương tự Squid) hỗ trợ SSL, HTTP/HTTPS, SOCKS5, xác thực và chuỗi proxy nguồn.

HTTP client được xây dựng dựa trên got dành cho mục đích cào dữ liệu (scraping).

Một ứng dụng CLI đa năng cho MCP. mcpc hỗ trợ các phiên liên tục, stdio/HTTP, OAuth 2.1, tác vụ, đầu ra JSON cho chế độ mã, proxy cho sandbox AI, x402 và nhiều tính năng khác.

impit | thư viện Rust để giả lập trình duyệt