scraper

📰 Newspaper4k, sebuah fork dari Newspaper3k yang disukai. Ekstraksi artikel, judul, dan metadata dari situs web berita.

Crawly, kerangka kerja web crawling & scraping tingkat tinggi untuk Elixir.

Tulis web scraper di Ruby menggunakan DSL bersih yang dibantu AI. Kimurai menggunakan AI untuk mengetahui letak data, lalu melakukan cache pada selector dan melakukan scraping dengan Ruby murni. Dapatkan kecerdasan LLM tanpa latensi per permintaan atau biaya token.

Skrip web scraping Python yang dapat diskalakan untuk +40 domain populer

API PHP+REST MyAnimeList tidak resmi yang menyediakan fungsi di luar API resmi

Universal Reddit Scraper - Alat baris perintah pengikisan/pengarsipan Reddit yang komprehensif.

Pengelola komprehensif untuk mengelola sumber daya di komputer dan menyediakan gamifikasi

Klien HTTP Rust yang ergonomis dan memperhatikan privasi

Scraper Google Play untuk Python yang terinspirasi oleh <facundoolano/google-play-scraper>

Alat pertama untuk melihat "postingan pribadi Instagram" secara anonim

Web crawler / scraper berkinerja tinggi di Elixir.

Mengambil tweet, balasan, lini masa, dan artikel X/Twitter tanpa login atau kunci API — alat lapangan untuk agen AI.

HTTP API untuk spider Scrapy

Pustaka pengujian/pengikisan/penguraian berbasis Kotlin yang menyediakan kemampuan untuk menganalisis dan mengekstrak data dari HTML (yang dirender di sisi server & klien). Pustaka ini sangat menekankan pada kemudahan penggunaan dan tingkat keterbacaan yang tinggi dengan menyediakan DSL yang intuitif. Bertujuan sebagai pustaka pengujian, tetapi juga dapat digunakan untuk mengikis situs web dengan cara yang mudah.

Alat baris perintah untuk mengunduh dan mengekstrak data dari halaman HTML/XML atau API JSON, menggunakan CSS, XPath 3.0, XQuery 3.0, JSONiq, atau pencocokan pola. Alat ini juga dapat membuat dokumen XML/HTML/JSON baru atau yang telah diubah.

Buat file ZIM dari situs web mana pun dan jelajahi secara offline!

Pengunduh doujinshi dan galeri gambar serbaguna

Mengonversi beberapa novel web ke format epub

Pustaka web spidering Ruby serbaguna yang dapat melakukan spidering pada situs, beberapa domain, tautan tertentu, atau tanpa batas. Spidr dirancang agar cepat dan mudah digunakan.

API Java untuk Chrome dan Firefox

Basis data terbuka untuk data sanksi internasional, orang yang dicari, dan tokoh politik yang terekspos

Mesin scraping yang di-host sendiri — melewati tantangan JS & captcha apa pun: Cloudflare, Turnstile, reCAPTCHA, hCaptcha, GeeTest. Alternatif dan pengganti langsung untuk FlareSolverr & Byparr di stack *arr Anda.

🕵️‍♂️ Scraper profil LinkedIn yang mengembalikan data profil terstruktur dalam format JSON.

operative framework adalah framework OSINT investigasi berbasis Rust. Anda dapat berinteraksi dengan berbagai target, menjalankan banyak modul, membuat tautan dengan target, mengekspor laporan ke file PDF, menambahkan catatan ke target atau hasil, berinteraksi dengan RESTFul API, dan menulis modul Anda sendiri.

Paket Python untuk scraping data properti real estat

Pelacak harga multi-pengguna yang di-host sendiri untuk Amazon, Aliexpress, ebay, dan banyak lagi termasuk toko kustom. Dapatkan notifikasi saat harga cocok dengan satu atau lebih kriteria yang ditetapkan pengguna.

Alat OSINT Slash

Pustaka Scala untuk mengambil konten dari halaman HTML

Daftar scraper dari seluruh web.

Dokumen API Internal Twitter.