crawler

Praktik langsung berbagai crawler data situs web dan e-commerce. Termasuk: produk Taobao, akun resmi WeChat, Dazhong Dianping, Qichacha, situs rekrutmen, Xianyu, tugas Alibaba,博客园, Weibo, Baidu Tieba, ulasan film Douban, Baotu, Panorama, musik Douban, badan pengawas obat provinsi, berita Sohu, pengumpulan teks machine learning, pengumpulan aset fofa, Autohome, Biro Statistik Nasional, jumlah indeks kata kunci Baidu, direktori spider, Toutiao, ulasan film Douban, Ctrip, toko aplikasi Xiaomi, Anjuke, dan homestay Tujia.

Komponen berbasis Redis untuk Scrapy.

Analisis sistem perlindungan bot beserta penanggulangannya. Cara mengalahkan sistem anti-bot dan melewati skrip sidik jari peramban saat melakukan web scraping

Alat OSINT Dark Web

Kumpulan kasus ilegal terkait web crawler di Tiongkok. Proyek ini mengumpulkan berita, materi, serta hukum dan regulasi terkait tuntutan hukum dan pelanggaran pengembang crawler di Tiongkok daratan, guna membantu praktisi industri crawler memahami hukum yang berlaku dan menghindari pelanggaran kepatuhan data.

Crawler Sina Weibo, menggunakan python untuk mengambil data Sina Weibo, serta mengunduh gambar dan video Weibo

Cara berbasis komunitas untuk membaca dan mengobrol dengan bot AI - ditenagai oleh chatGPT.

Alat pengunduh komik dan novel untuk berbagai platform seperti Tencent Comics, DaJiaoChong, YouYaoQi, Migu, SF Comics, dan banyak lagi, dengan output format epub.

Proxy [Finder | Checker | Server]. HTTP(S) & SOCKS :performing_arts:

DotnetSpider, pustaka web crawling standar .NET. Ini adalah kerangka kerja web crawling & scraping tingkat tinggi yang ringan, efisien, dan cepat

Kumpulan proxy cerdas untuk manusia™ guna mengekstrak konten dari internet dan membangun Large Language Models Anda sendiri di era AI baru ini

API .NET untuk Headless Chrome.

Mengambil daftar domain, merayapi URL, dan memindai endpoint, rahasia, kunci API, ekstensi file, token, dan lainnya

Alat lengkap untuk pengumpulan informasi, pemindaian kerentanan, dan perayapan. Alat wajib bagi semua penguji penetrasi

🚀🚀🚀feapder adalah kerangka kerja web crawler Python yang mudah digunakan dan kuat | feapder adalah kerangka kerja crawler Python yang ramah pengguna dan bertenaga. Dilengkapi dengan empat jenis crawler: AirSpider, Spider, TaskSpider, dan BatchSpider untuk memenuhi kebutuhan berbagai skenario. Mendukung kelanjutan setelah terputus, pemantauan dan peringatan, rendering browser, deduplikasi data masif, serta dilengkapi dengan sistem manajemen crawler feaplat yang kuat untuk penerapan dan penjadwalan yang mudah

Pengikis metadata film

Setiap situs web menyediakan API.

Crawler browser yang kuat untuk pemindai kerentanan web.

Gospider - Web spider cepat yang ditulis dalam Go

Web Recon All-in-One.

Scraper Node.js untuk mengambil data dari Google Play.

owllook - Mesin pencari novel.

DecryptLogin: API untuk masuk ke beberapa situs web menggunakan requests.

https://spatie.be/docs/crawler

Geziyor, framework web crawling & scraping yang sangat cepat untuk Go. Mendukung rendering JS.

Videodl: Pengunduh video ringan yang ditulis dalam Python murni. Mendukung berbagai platform streaming seperti Douyin, Kuaishou, Xiaohongshu, Bilibili, YouTube, TikTok, dan banyak lagi.

:spider: Framework crawler PHP progresif!

Dapatkan data web untuk agen AI dan LLM

Web crawler ringan yang mudah digunakan

news-please - perayap web dan ekstraktor informasi terintegrasi untuk berita yang langsung berfungsi.