crawler

Kumpulan artikel reverse engineering menarik yang telah dikunjungi, layak untuk dibaca

🤖 Mengikis data dari situs web HTML secara otomatis hanya dengan menyediakan contoh

Berbagi kode web scraping Brother K, rekayasa balik JS, web scraping tingkat lanjut. Ikuti Akun Resmi: Brother K Web Scraping

Web crawler/scraper Ruby yang ringan dengan DSL elegan yang mengekstrak data terstruktur dari halaman.

Toolkit Audit dan Eksploitasi Cross Site Request Forgery (CSRF) Utama.

📝 Mengambil informasi profil Instagram dengan cepat (mis. pengikut, tag, dll.).

Pemindai dork tercepat yang ditulis dalam Go.

Scraper/crawler pekerjaan BOSS Zhipin berbasis Chrome-CDP yang menggunakan kembali status login asli melalui protokol Chrome CDP, melewati anti-scraping font, dan menghasilkan JSON/CSV gaji teks biasa beserta analisis keterampilan gaji.

Beanbun adalah framework web crawler multi-proses yang ditulis dalam PHP, memiliki keterbukaan yang baik, skalabilitas tinggi, dan berbasis Workerman.

Pengunduh komik Bilibili yang mudah digunakan dengan antarmuka grafis, mendukung pencarian komik berdasarkan kata kunci dan login kode QR, pengunduhan bab yang belum dibuka dengan teknologi canggih, pengunduhan multi-utas, berbagai format penyimpanan, manajemen komik lokal, dan pemeriksaan pembaruan dengan satu klik!

Alat traversal aplikasi otomatis berbasis Appium

Unduh semua foto/video dari blog Tumblr dengan mudah. Unduh gambar dan video dari blog Tumblr yang ditentukan.

📰 Newspaper4k, sebuah fork dari Newspaper3k yang disukai. Ekstraksi artikel, judul, dan metadata dari situs web berita.

Server pencarian situs & perusahaan sumber terbuka yang di-host mandiri, dibangun di atas OpenSearch. Melakukan crawling web / file / DB / sumber cloud, 20+ bahasa, REST API, serta AI/RAG & pencarian semantik. Apache-2.0.

Menjalankan crawler pengarsipan web berbasis peramban berketepatan tinggi dalam satu container Docker

Crawly, kerangka kerja web crawling & scraping tingkat tinggi untuk Elixir.

Tulis web scraper di Ruby menggunakan DSL bersih yang dibantu AI. Kimurai menggunakan AI untuk mengetahui letak data, lalu melakukan cache pada selector dan melakukan scraping dengan Ruby murni. Dapatkan kecerdasan LLM tanpa latensi per permintaan atau biaya token.

Skrip web scraping Python yang dapat diskalakan untuk +40 domain populer

Penghilang watermark video pendek Golang: Douyin, Pipixia, Huoshan, Weishi, Zuiyou, Kuaishou, Quanmin Xiaoshipin, Pipigaoxiao, Xigua Video, Huya, Pear Video, AcFun, Haokan Video...

Unduh novel | Crawling novel | Qidian | Biquge | Ekspor Markdown | Ekspor txt | Konversi epub | Filter iklan | Koreksi otomatis

Klien HTTP Rust yang ergonomis dan memperhatikan privasi

Scraper Google Play untuk Python yang terinspirasi oleh <facundoolano/google-play-scraper>

Alat untuk pixiv.net. Web scraper Pixiv yang mudah digunakan oleh siapa saja

Web crawler yang skalabel, matang, dan serbaguna berbasis Apache Storm

Rilis, wiki, dan peta jalan SpiderSuite (crawler keamanan web)

Web crawler / scraper berkinerja tinggi di Elixir.

Alternatif Firecrawl/Tavily yang cepat dan ringan dalam Rust. Web scraper, crawler & search API dengan server MCP untuk AI agent. Kompatibel dengan API Firecrawl (/scrape, /crawl, /search). 2,3x lebih cepat dari Tavily, 1,5x lebih cepat dari Firecrawl dalam benchmark 1K-URL. RAM 6 MB, biner tunggal. Dapat di-self-host atau menggunakan cloud terkelola.

Alat protokol berbasis Python murni dan catatan riset untuk X.com, dengan dataset akun Twitter VibeLoft

Framework crawler multi-thread dengan banyak crawler gambar bawaan.

ChatWeb dapat merayapi halaman web, membaca PDF, DOCX, TXT, mengekstrak konten utama, lalu menjawab pertanyaan Anda berdasarkan konten tersebut atau merangkum poin-poin penting.