spider

Crawler/spider web visual tanpa kode. Perangkat lunak otomatisasi browser/pengumpulan data/web crawler visual yang memungkinkan desain dan eksekusi tugas crawler secara grafis tanpa kode.

Kerangka Kerja Scraper dan Crawler Elegan untuk Golang

Python ProxyPool untuk web spider

Douyin_TikTok_Download_API adalah alat pengikis data Douyin, Kuaishou, TikTok, dan Bilibili yang berkinerja tinggi dan siap pakai, mendukung panggilan API, serta penguraian dan pengunduhan batch secara daring.

Beberapa contoh crawler Python yang menarik dan ramah bagi pemula, terutama untuk melakukan crawling pada situs seperti Taobao, Tmall, WeChat, WeChat Reading, Douban, QQ, dll.

Crawler yang sangat cepat dirancang untuk OSINT.

Platform admin web crawler terdistribusi untuk manajemen spider tanpa batasan bahasa atau framework.

Perangkat lunak perekaman siaran langsung yang mendukung penjadwalan berulang dan perekaman multi-pengguna, mendukung 40+ platform termasuk Douyin, TikTok, Youtube, Kuaishou, Huya, Douyu, Bilibili, Xiaohongshu, pandatv, sooplive, flextv, popkontv, twitcasting, winktv, Baidu, Weibo, Kugou, 17Live, Twitch, Acfun, CHZZK, shopee, dan lainnya.

Sistem manajemen film AV, crawler avmoo, javbus, javlibrary, perpustakaan film AV online, basis data tautan magnetik AV, Japanese Adult Video Library, Adult Video Magnet Links - Japanese Adult Video Database

INFO-SPIDER adalah kotak peralatan crawler yang mengintegrasikan banyak sumber data 🧰, yang bertujuan untuk membantu pengguna mendapatkan kembali data mereka dengan aman dan cepat, kode alat bersifat open-source, dan prosesnya transparan. Sumber data yang didukung termasuk GitHub, QQ Mail, NetEase Mail, Ali Mail, Sina Mail, Hotmail, Outlook Mail, JD.com, Taobao, Alipay, China Mobile, China Unicom, China Telecom, Zhihu, Bilibili, NetEase Cloud Music, QQ Friends, QQ Groups, Generate WeChat Moments Albums, Browser History, 12306, CSDN Blog, OSChina Blog, Jianshu.

Daftar pustaka, alat, dan API untuk web scraping dan pemrosesan data.

Pholcus adalah perangkat lunak crawler terdistribusi dengan konkurensi tinggi yang ditulis dalam golang murni

Koleksi web crawler dan spider luar biasa dalam berbagai bahasa pemrograman

Web Crawler/Spider untuk NodeJS + jQuery sisi server ;-)

Sinkronkan artikel ke beberapa platform konten dengan satu klik, mendukung Toutiao, WordPress, Zhihu, Jianshu, Juejin, CSDN, Typecho, dan platform utama lainnya. Terbitkan sekali, sinkronkan ke banyak platform. Bebaskan produktivitas pribadi

Alat OSINT Dark Web

novel-plus adalah sistem CMS novel multi-platform (PC, WAP) dengan fitur lengkap, mencakup rekomendasi, pencarian, peringkat, pembacaan, rak buku, ulasan, crawler novel, pusat anggota, area penulis, langganan isi ulang, dan publikasi berita.

🚀🚀🚀feapder adalah kerangka kerja web crawler Python yang mudah digunakan dan kuat | feapder adalah kerangka kerja crawler Python yang ramah pengguna dan bertenaga. Dilengkapi dengan empat jenis crawler: AirSpider, Spider, TaskSpider, dan BatchSpider untuk memenuhi kebutuhan berbagai skenario. Mendukung kelanjutan setelah terputus, pemantauan dan peringatan, rendering browser, deduplikasi data masif, serta dilengkapi dengan sistem manajemen crawler feaplat yang kuat untuk penerapan dan penjadwalan yang mudah

Setiap situs web menyediakan API.

Kerangka kerja manajemen crawler terdistribusi berbasis Scrapy, Scrapyd, Django, dan Vue.js

Scraper untuk artikel Akun Resmi WeChat

Aplikasi web untuk manajemen klaster Scrapyd, analisis & visualisasi log Scrapy, pengemasan otomatis, tugas pengatur waktu, pemantauan & peringatan, serta UI seluler.

Gospider - Web spider cepat yang ditulis dalam Go

Penghapus watermark video pendek: Douyin, Pipixia, Huoshan, Weishi, Weibo, Oasis, Zuiyou, Qing Shipin, Kuaishou, Quanmin Xiaoshipin, Base Film, Momo, Before, Eyepetizer, Vue Vlog, Xiaokaxiu, Pipigaoxiao, Quanmin K Ge, Xigua Shipin, Doupai, Huya, 6 Rooms, Pear Video, New Film, AcFun, Meipai, dll.

owllook - Mesin pencari novel.

DecryptLogin: API untuk masuk ke beberapa situs web menggunakan requests.

Geziyor, framework web crawling & scraping yang sangat cepat untuk Go. Mendukung rendering JS.

Tutorial praktis bahasa Go dari pemula hingga mahir, mencakup penggunaan pustaka dasar, pola desain, poin kesalahan umum saat wawancara, utilitas, dan integrasi pihak ketiga

:spider: Framework crawler PHP progresif!

Dapatkan data web untuk agen AI dan LLM