scraping

Một bản fork được làm mới và thiết kế lại hoàn toàn, được tái tưởng tượng từ đầu dựa trên onlyfans-scraper gốc

📰 Newspaper4k, một nhánh (fork) của Newspaper3k được yêu thích. Trích xuất bài viết, tiêu đề và siêu dữ liệu từ các trang web tin tức.

Tác nhân biến các trang web thành API!

Crawly, một framework cào và thu thập dữ liệu web cấp cao dành cho Elixir.

Tự động lưu trữ liên kết đến video, hình ảnh và nội dung mạng xã hội từ Google Sheets (và nhiều hơn nữa).

⛏️ Công cụ trích xuất đằng sau Maigret: biến bất kỳ URL hồ sơ nào thành bản ghi OSINT có cấu trúc trên hơn 150 trang web

Các tập lệnh cào dữ liệu web Python có khả năng mở rộng cho hơn 40 tên miền phổ biến

🧹 Gói Python dùng để làm sạch văn bản

🚀 Web scraping dành cho mọi người

Thu thập phản hồi có cấu trúc từ trình cạo dữ liệu ChatGPT bằng cách gửi prompt với thông tin xác thực API hợp lệ. Kích hoạt tìm kiếm trực tiếp, chèn ngữ cảnh HTML và tự động hóa quy trình làm việc của trình cạo ChatGPT chỉ với vài tham số.

Công cụ Python để chuyển đổi các trang Notion.so thành các trang web tĩnh nhẹ và có thể tùy chỉnh.

Bộ công cụ CLI để tự động tạo mục lục cho các tệp PDF

Mã nguồn hướng dẫn web scraping bằng Python đơn giản nhưng hữu ích.

Công cụ scraping tự lưu trữ — vượt qua mọi thử thách JS và captcha: Cloudflare, Turnstile, reCAPTCHA, hCaptcha, GeeTest. Giải pháp thay thế cho FlareSolverr và Byparr cho ngăn xếp *arr của bạn.

Công cụ thu thập dữ liệu hồ sơ LinkedIn trả về dữ liệu hồ sơ có cấu trúc dưới dạng JSON.

Lookyloo là giao diện web cho phép người dùng chụp lại một trang web và hiển thị cây các tên miền liên kết với nhau.

Thư viện tổng hợp các bài báo nghiên cứu và bài thuyết trình dành cho những người quan tâm đến chống phát hiện và quyền riêng tư trên web.

Gói Python cho kết quả tìm kiếm Google thông qua SERP API

Công cụ xoay proxy hiệu năng cao với quản lý IP tự động và giám sát trạng thái theo thời gian thực

Gói Python để thu thập dữ liệu bất động sản

Comic-dl là công cụ dòng lệnh dùng để tải truyện tranh và manga từ nhiều trang web khác nhau. Các trang được hỗ trợ: readcomiconline.to, mangafox.me, comic naver và nhiều trang khác.

Trích xuất hồ sơ mạng xã hội và nhiều thông tin khác bằng biểu thức chính quy

Tìm hiểu về web scraping và xây dựng trình theo dõi giá thương mại điện tử bằng Next.js 13 trong một video duy nhất, bao gồm kỹ thuật thu thập dữ liệu, cron job, gửi email, triển khai và hơn thế nữa.

Cộng tác trong môi trường sandbox cho các nhóm đa tác nhân: diễn đàn tin nhắn dựa trên Git với mỗi tác nhân được cô lập trong sandbox riêng. Biến kho lưu trữ Git thành diễn đàn bảo mật cho các tác nhân AI.

Một API để thu thập dữ liệu meta từ các trang web tòa án Hoa Kỳ.

Kemono pawchive Downloader là một ứng dụng PyQt5 nhanh dùng để lưu trữ nội dung từ nhiều trang web, bao gồm Kemono, Coomer, Bunkr, Erome, Saint2.su, nhentai và Discord. Ứng dụng có trình duyệt Creator, kiểm tra cập nhật và hỗ trợ tải xuống đa luồng, đa phần. Các phiên có thể tạm dừng, tiếp tục hoặc khôi phục.

Demo đơn giản nhất về tự động hóa chrome bằng python và selenium trong AWS Lambda

Ứng dụng Python này là một công cụ OSINT (Tình báo nguồn mở) có tên "Ominis OSINT - Web Hunter". Nó thực hiện thu thập thông tin trực tuyến bằng cách truy vấn Google để lấy kết quả tìm kiếm liên quan đến truy vấn do người dùng nhập. Công cụ này trích xuất các thông tin liên quan như tiêu đề, URL và các đề cập tiềm năng về truy vấn trong kết quả.

Script Python 3 để dump/scrape/trích xuất nhân viên công ty từ LinkedIn API

Universal Reddit Scraper - Hoạt động trên mọi Subreddit hoặc Người dùng