web-scraping

Thư viện Python phân tích Finviz.

Khóa học Khoa học dữ liệu năm 2015 của General Assembly tại Washington, DC

Cào tweet, hồ sơ, người theo dõi và đang theo dõi từ Twitter/X, không cần khóa API. Thư viện Python với tính năng gộp nhiều tài khoản thông minh, hỗ trợ proxy và bất đồng bộ.

AI Map là công cụ lập bản đồ trang web được hỗ trợ bởi AI từ Oxylabs AI Studio, sử dụng các câu lệnh ngôn ngữ tự nhiên để khám phá và trích xuất thông minh các URL có liên quan từ bất kỳ trang web nào.

Công cụ CLI để lưu bản sao chính xác của một trang web hoàn chỉnh vào một tệp HTML duy nhất (dựa trên SingleFile)

Web scraping đơn giản cho R

Phiên bản Python không bị phát hiện của thư viện tự động hóa và kiểm thử Playwright.

❤️ Fredy - Tìm kiếm bất động sản cực kỳ dễ dàng - Fredy liên tục tìm kiếm căn hộ và nhà mới ở Châu Âu trên các nền tảng như ImmoScout24, Immowelt, eBay Kleinanzeigen và ngay lập tức gửi kết quả cho bạn qua Slack, Telegram, Email, Discord hoặc ntfy, giúp bạn tập trung vào những việc quan trọng hơn trong cuộc sống ;)

Bộ công cụ web scraping hoàn chỉnh cho PHP.

AgentQL là bộ công cụ kết nối AI của bạn với web. Tích hợp ngôn ngữ truy vấn và Playwright để tương tác với các phần tử và trích xuất dữ liệu nhanh chóng, chính xác và quy mô lớn. Bao gồm REST API, Python và JavaScript SDK, công cụ gỡ lỗi trình duyệt.

Một HTTP Client bằng Python có tính công thái học và bảo vệ quyền riêng tư

Tập hợp các bản vá dành cho Puppeteer và Playwright nhằm tránh bị phát hiện tự động hóa và rò rỉ thông tin. Giúp vượt qua các trang CAPTCHA của Cloudflare và DataDome. Dễ dàng áp dụng hoặc gỡ bỏ bản vá theo nhu cầu.

Sử dụng Web Scraper API để trích xuất dữ liệu từ Google Finance, bao gồm tên cổ phiếu, giá cả và biến động giá theo phần trăm.

Nền tảng giám sát web hỗ trợ bởi AI. Tạo các trinh sát tự động tìm kiếm trên web và gửi cảnh báo qua email khi tìm thấy thứ bạn đang tìm kiếm.

SERP API tự lưu trữ dành cho AI, SEO và tự động hóa. Tìm kiếm trên Google, Bing, Yandex, Baidu, DuckDuckGo và Ecosia được kết xuất bằng trình duyệt với tính năng trích xuất trang 🎉

WebAI2API: Công cụ chuyển đổi AI web thành API dựa trên Camoufox, hỗ trợ LMArena/Gemini và nhiều tính năng khác, đồng thời hỗ trợ đa cửa sổ đồng thời và cô lập tài khoản.

Go HTTP client với dấu vân tay TLS/HTTP2 giống hệt trình duyệt. Vượt qua hệ thống phát hiện bot bằng cách mô phỏng hoàn hảo Chrome, Firefox và Safari ở cấp độ mật mã (JA3/JA4, dấu vân tay Akamai, thứ tự header). Hỗ trợ HTTP/1.1, HTTP/2, HTTP/3, các phiên, cookie và proxy.

Proxy dân cư xoay vòng HTTP(S)/SOCKS5 - mã nguồn mẫu & thông tin chung.

Một thư viện JavaScript để tạo user agent ngẫu nhiên với dữ liệu được cập nhật hàng ngày.

Bẫy các trình thu thập dữ liệu web AI trong một hố độc vô tận.

Yêu cầu nhanh hơn trên Python 3

Tác nhân biến các trang web thành API!

Viết web scraper bằng Ruby sử dụng một DSL sạch, được hỗ trợ bởi AI. Kimurai sử dụng AI để tìm vị trí của dữ liệu, sau đó lưu cache các bộ chọn và cào dữ liệu bằng Ruby thuần túy. Nhận sự thông minh của LLM mà không có độ trễ trên mỗi yêu cầu hoặc chi phí token.

Các tập lệnh cào dữ liệu web Python có khả năng mở rộng cho hơn 40 tên miền phổ biến

Danh sách tổng hợp các tài nguyên, công cụ, kỹ năng, hướng dẫn và bài viết về OpenClaw. OpenClaw (trước đây là Moltbot / Clawdbot) — tác nhân AI tự lưu trữ mã nguồn mở cho WhatsApp, Telegram, Discord và hơn 50 tích hợp.

Máy chủ MCP đọc nội dung đa năng cho hơn 10 nền tảng

Giải pháp thay thế Firecrawl/Tavily nhanh, nhẹ viết bằng Rust. Web scraper, crawler và API tìm kiếm với máy chủ MCP cho AI agents. API tương thích với Firecrawl (/scrape, /crawl, /search). Nhanh hơn 2.3 lần so với Tavily và 1.5 lần so với Firecrawl trong các bài kiểm tra 1K-URL. RAM 6 MB, tệp nhị phân đơn lẻ. Hỗ trợ tự lưu trữ hoặc sử dụng cloud được quản lý.

Thu thập phản hồi có cấu trúc từ trình cạo dữ liệu ChatGPT bằng cách gửi prompt với thông tin xác thực API hợp lệ. Kích hoạt tìm kiếm trực tiếp, chèn ngữ cảnh HTML và tự động hóa quy trình làm việc của trình cạo ChatGPT chỉ với vài tham số.

Trình khởi chạy trình duyệt anti-detect miễn phí, mã nguồn mở dành cho web scraping và quản lý đa tài khoản. Được phát triển bởi đội ngũ ProxyShard. Hỗ trợ giả lập vân tay ở cấp độ engine trong Chromium 148 (WebGL / WebGPU / Client Hints / fonts / TLS), tích hợp sẵn hơn 170 hồ sơ thiết bị, hỗ trợ ổn định QUIC + WebRTC qua SOCKS5.

Các kỹ năng Agent chính thức của sản phẩm Oxylabs