crawler

Prompt GPT yang bocor untuk melewati batas 25 pesan atau mencoba GPT tanpa langganan Plus.

Kerangka Kerja Web Scraping

CrawlerDetect adalah kelas PHP untuk mendeteksi bot/crawler/spider melalui user agent.

Kerangka kerja web crawler C# lintas platform yang dibangun untuk kecepatan dan fleksibilitas. Silakan beri bintang pada proyek ini!

Website Cloner - Menggunakan Go routines yang kuat untuk mengkloning situs web ke komputer Anda dalam hitungan detik.

🏳️‍🌈 Pengunduh media dari situs apa pun, termasuk Twitter, Reddit, Instagram, BlueSky, TikTok, Threads, Facebook, OnlyFans, YouTube, Pinterest, PornHub, XHamster, XVIDEOS, ThisVid, dll.

Ubah Konten Web menjadi Data yang Siap untuk LLM

LanTian Crawler adalah sistem crawler sumber terbuka gratis yang memungkinkan pengumpulan data hanya dengan mengklik dan mengedit aturan. Dapat dijalankan secara lokal, di hosting virtual, atau server cloud, mampu mengumpulkan hampir semua jenis halaman web, terintegrasi dengan berbagai CMS, mempublikasikan data secara real-time tanpa login, dan sepenuhnya otomatis. Ini adalah sistem crawler cloud lintas platform untuk pengumpulan data web besar.

Framework web crawling berbasis asyncio.

Koleksi contoh crawler web. Termasuk namun tidak terbatas pada Taobao, JD, Tmall, Douban, Douyin, Kuaishou, Weibo, WeChat, Alibaba, Toutiao, PDD, Youku, iQIYI, Ctrip, 12306, 58, Sohu, berbagai indeks, Weipu Wanfang, Zlibrary, Oalib, novel, situs tender, situs pengadaan, Xiaohongshu, Dianping, Twitter, Maimai, dan Zhihu.

Browser antidetect stealth gratis untuk Playwright: fingerprint Firefox headless yang tidak terdeteksi. Scraping Python, bypass recaptcha dan deteksi bot. Sumber terbuka

Pustaka inti NewPipe untuk mengekstrak data dari situs streaming

Solusi penelusuran memori browser (dalam eksplorasi...)

Pengenalan situs magnet U3C3 dan pembaruan nama domain

Perpustakaan crawler Node.js yang fleksibel dan dibantu oleh AI

Pemantauan, pengumpulan, dan transfer konten lintas platform. Satu panel Web untuk mengelola Douyin / Xiaohongshu / Kuaishou

Diskover Community Edition - Pengindeks file open source, mesin pencari file, serta manajemen dan analitik data yang didukung oleh Elasticsearch

Web crawler gambar multiproses Google, Naver (Selenium)

Binding Python untuk engine Modest dan Lexbor. Parser HTML5 cepat dengan pemilih CSS untuk Python.

Scraper Python, inventaris saat ini: pengunduhan lagu NetEase Cloud Music, pengunduhan video Bilibili, pengunduhan tanya jawab Zhihu, pengunduhan wallpaper, pengunduhan video xvideos, pengunduhan buku audio, scraper Weibo, pengunduhan informasi Anjuke + visualisasi data, ekstraktor sampul video Bilibili, enkapsulasi pool proksi IP, scraper pengguna Zhihu tingkat jutaan + analisis data, scraper pengguna GitHub

Web crawler sang arsiparis: output WARC, dasbor untuk semua proses crawl, pola abaikan dinamis

Scraper Douyin — mengumpulkan data publik seperti beranda akun, suka, favorit, audio asli, topik, pencarian, kumpulan, karya, mengikuti, pengikut, dan lainnya.

ScopeSentry-Pemetaan dunia maya, enumerasi subdomain, pemindaian port, penemuan informasi sensitif, pemindaian kerentanan, node terdistribusi

Alat CLI untuk menyimpan salinan otentik dari halaman web lengkap dalam satu file HTML (berbasis SingleFile)

❤️ Fredy - [F]ind [R]eal [E]state [D]amn Eas[y] - Fredy terus mencari apartemen dan rumah baru di Eropa pada platform seperti ImmoScout24, Immowelt, eBay Kleinanzeigen dan langsung mengirimkan hasilnya kepada Anda melalui Slack, Telegram, Email, Discord, atau ntfy, sehingga Anda dapat fokus pada hal-hal yang lebih penting dalam hidup ;)

Elasticsearch File System Crawler (FS Crawler)

Klien HTTP Python yang ergonomis dan menjaga privasi

Alat pengumpulan data Xiaohongshu, pengunduh massal gambar dan video situs web, alat pengumpulan data estetis (unduh massal, ekstraksi video, gambar) Telegram:https://t.me/+ZtLSwuIKTo44MDY1

Kumpulan patch untuk puppeteer dan playwright untuk menghindari deteksi otomatisasi dan kebocoran. Membantu menghindari halaman CAPTCHA Cloudflare dan DataDome. Mudah dipatch/unpatch, dapat diaktifkan/dinonaktifkan sesuai kebutuhan.

Kerangka kerja pengukuran privasi web