spider

Kerangka Kerja Web Scraping

CrawlerDetect adalah kelas PHP untuk mendeteksi bot/crawler/spider melalui user agent.

Mengunduh gambar dari Google, Bing, dan Baidu.

Kerangka kerja web crawler C# lintas platform yang dibangun untuk kecepatan dan fleksibilitas. Silakan beri bintang pada proyek ini!

LanTian Crawler adalah sistem crawler sumber terbuka gratis yang memungkinkan pengumpulan data hanya dengan mengklik dan mengedit aturan. Dapat dijalankan secara lokal, di hosting virtual, atau server cloud, mampu mengumpulkan hampir semua jenis halaman web, terintegrasi dengan berbagai CMS, mempublikasikan data secara real-time tanpa login, dan sepenuhnya otomatis. Ini adalah sistem crawler cloud lintas platform untuk pengumpulan data web besar.

Framework web crawling berbasis asyncio.

Pengenalan situs magnet U3C3 dan pembaruan nama domain

Perpustakaan crawler Node.js yang fleksibel dan dibantu oleh AI

Pemindai aplikasi web berbasis Python untuk mengumpulkan OSINT dan melakukan fuzzing terhadap kerentanan OWASP pada situs web target.

Asisten ekspor Qzone untuk mencadangkan postingan, jurnal, buku harian pribadi, album, video, dan lainnya ke file untuk migrasi dan penyimpanan mudah.

Scraper Python, inventaris saat ini: pengunduhan lagu NetEase Cloud Music, pengunduhan video Bilibili, pengunduhan tanya jawab Zhihu, pengunduhan wallpaper, pengunduhan video xvideos, pengunduhan buku audio, scraper Weibo, pengunduhan informasi Anjuke + visualisasi data, ekstraktor sampul video Bilibili, enkapsulasi pool proksi IP, scraper pengguna Zhihu tingkat jutaan + analisis data, scraper pengguna GitHub

Web crawler sang arsiparis: output WARC, dasbor untuk semua proses crawl, pola abaikan dinamis

Scraper Douyin — mengumpulkan data publik seperti beranda akun, suka, favorit, audio asli, topik, pencarian, kumpulan, karya, mengikuti, pengikut, dan lainnya.

Kumpulan artikel reverse engineering menarik yang telah dikunjungi, layak untuk dibaca

Berbagi kode web scraping Brother K, rekayasa balik JS, web scraping tingkat lanjut. Ikuti Akun Resmi: Brother K Web Scraping

📰 Lembaran negara Brasil dapat diakses oleh semua orang

Toolkit Audit dan Eksploitasi Cross Site Request Forgery (CSRF) Utama.

Alat unduh untuk merayapi ebook dari internet.

Scraper/crawler pekerjaan BOSS Zhipin berbasis Chrome-CDP yang menggunakan kembali status login asli melalui protokol Chrome CDP, melewati anti-scraping font, dan menghasilkan JSON/CSV gaji teks biasa beserta analisis keterampilan gaji.

Beanbun adalah framework web crawler multi-proses yang ditulis dalam PHP, memiliki keterbukaan yang baik, skalabilitas tinggi, dan berbasis Workerman.

50 catatan tentang model bahasa besar (LLM). Repositori ini berisi proyek praktis di bidang machine learning, deep learning, computer vision, natural language processing, dan crawler.

Crawly, kerangka kerja web crawling & scraping tingkat tinggi untuk Elixir.

:alien: OneBlog, blog Java yang ringkas, estetis, canggih, dan responsif.

Melakukan crawling artikel akun publik WeChat.

Skrip web scraping Python yang dapat diskalakan untuk +40 domain populer

JS破解逆向，破解JS反爬虫加密参数，已破解极验滑块w（2022.2.19），QQ音乐sign（2022.2.13），拼多多anti_content，boss直聘zp_token，知乎x-zse-96，酷狗kg_mid/dfid，唯品会mars_cid，中国裁判文书网（2020-06-30更新），淘宝密码，天安保险登录，b站登录，房天下登录，WPS登录，微博登录，有道翻译，网易登录，微信公众号登录，空中网登录，今目标登录，学生信息管理系统登录，共赢金融登录，重庆科技资源共享平台登录，网易云音乐下载，一键解析视频链接，财联社登录。

Penghilang watermark video pendek Golang: Douyin, Pipixia, Huoshan, Weishi, Zuiyou, Kuaishou, Quanmin Xiaoshipin, Pipigaoxiao, Xigua Video, Huya, Pear Video, AcFun, Haokan Video...

Unduh novel | Crawling novel | Qidian | Biquge | Ekspor Markdown | Ekspor txt | Konversi epub | Filter iklan | Koreksi otomatis

Web spider yang dapat dikonfigurasi dengan konsol web yang mudah digunakan

Rilis, wiki, dan peta jalan SpiderSuite (crawler keamanan web)