apify

Crawlee—Một thư viện cào web và tự động hóa trình duyệt dành cho Node.js để xây dựng các trình thu thập dữ liệu đáng tin cậy. Bằng JavaScript và TypeScript. Trích xuất dữ liệu cho AI, LLMs, RAG hoặc GPTs. Tải xuống HTML, PDF, JPG, PNG và các tệp khác từ trang web. Hoạt động với Puppeteer, Playwright, Cheerio, JSDOM và HTTP thô. Cả chế độ hiển thị giao diện và không có giao diện. Có tính năng xoay proxy.

Crawlee—Một thư viện cào web và tự động hóa trình duyệt dành cho Python để xây dựng các trình thu thập dữ liệu đáng tin cậy. Trích xuất dữ liệu cho AI, LLMs, RAG hoặc GPTs. Tải xuống HTML, PDF, JPG, PNG và các tệp khác từ các trang web. Hoạt động với Parsel, BeautifulSoup, Playwright và HTTP thô. Cả chế độ hiển thị giao diện và chạy ẩn. Hỗ trợ xoay proxy.

Kho lưu trữ GitHub này là một bộ sưu tập API mạnh mẽ mà bạn có thể sử dụng ngay lập tức để xây dựng mọi thứ, từ các tự động hóa đơn giản đến ứng dụng quy mô lớn. Một trong những danh sách API giá trị nhất trên GitHub.

Bộ sưu tập các kỹ năng Apify agent

Cào tweet, hồ sơ, người theo dõi và đang theo dõi từ Twitter/X, không cần khóa API. Thư viện Python với tính năng gộp nhiều tài khoản thông minh, hỗ trợ proxy và bất đồng bộ.