scraping

Geziyor, framework web crawling & scraping yang sangat cepat untuk Go. Mendukung rendering JS.

Pustaka Python dan CLI untuk scraping X/Twitter dengan rotasi multi-akun dan penanganan pembatasan tarif bawaan.

Dapatkan data web untuk agen AI dan LLM

Server Model Context Protocol (MCP) canggih yang menyediakan solusi lengkap untuk akses web publik.

Inti peramban privasi tingkat lanjut dengan pertahanan sidik jari terpadu: Cloudflare, Akamai, Kasada, Shape, DataDome, PerimeterX, hCaptcha, FunCaptcha, Imperva, reCAPTCHA, ThreatMetrix, Adscore

Alat fingerprinting browser untuk menganonimkan scraper Anda. Dikembangkan oleh Apify.

Daftar pilihan sumber daya puppeteer yang luar biasa.

Utilitas CLI untuk mengambil tangkapan layar situs web, merekam demo video, dan melakukan scraping situs menggunakan JavaScript.

Kerangka Kerja Web Scraping

Lembar contekan OSINT, daftar alat OSINT, wiki, dataset, artikel, buku, red team OSINT untuk peretas, tips OSINT, dan cabang OSINT. Repositori ini akan terus berkembang seiring dengan riset, sains, teknologi, dan tutorial. Harap gunakan dengan bijak.

Dapatkan informasi dari layanan web atau halaman apa pun

Browser antidetect stealth gratis untuk Playwright: fingerprint Firefox headless yang tidak terdeteksi. Scraping Python, bypass recaptcha dan deteksi bot. Sumber terbuka

Internet-in-a-Box - Bangun Perpustakaan Aleksandria Anda sendiri dengan Raspberry Pi!

Daftar alat dan peramban anti-deteksi serta peniru manusia, termasuk pemecah captcha dan aktivasi SMS.

Sembunyikan IP pengikis Anda di balik cloud. Sediakan server proksi di berbagai penyedia cloud untuk meningkatkan keberhasilan pengikisan Anda.

Dalam tutorial ini, kami menunjukkan cara melakukan scraping data publik Google dengan Python dan Oxylabs API.

Dapatkan data bersih dari dokumen yang rumit, didukung oleh model vision-language ⚡

AgentQL adalah rangkaian alat untuk menghubungkan AI Anda ke web. Menampilkan bahasa kueri dan integrasi Playwright untuk berinteraksi dengan elemen dan mengekstrak data dengan cepat, tepat, dan berskala besar. Termasuk REST API, SDK Python dan JavaScript, serta pemecah masalah peramban.

Kumpulan patch untuk puppeteer dan playwright untuk menghindari deteksi otomatisasi dan kebocoran. Membantu menghindari halaman CAPTCHA Cloudflare dan DataDome. Mudah dipatch/unpatch, dapat diaktifkan/dinonaktifkan sesuai kebutuhan.

🤖 Mengikis data dari situs web HTML secara otomatis hanya dengan menyediakan contoh

📰 Lembaran negara Brasil dapat diakses oleh semua orang

Bot Pembuat Akun Gmail Massal Otomatis Sumber Terbuka dengan Selenium & Seleniumwire (Python). Silakan hubungi saya untuk Django/Flask, ML, AI, GPT, Otomasi, Scraping.

Pustaka ringan untuk melakukan scraping situs web dengan LLM

Parsel memungkinkan Anda mengekstrak data dari dokumen XML/HTML menggunakan XPath atau selektor CSS

Tonton semuanya langsung dari terminal Anda.

Proksi residensial berotasi HTTP(S)/SOCKS5 - contoh kode & informasi umum.

🎭 Generator header & sidik jari browser yang cerdas

:rocket: Alternatif open source untuk searx yang menyediakan meta search engine bertampilan modern :sparkles:, sangat cepat :zap:, menjaga privasi :disguised_face:, dan aman :lock:

Kerangka kerja layanan modular untuk memindahkan dan mentransformasikan paket jaringan

Alat untuk berbagai juri online. Mengunduh kasus sampel, menghasilkan kasus uji tambahan, menguji kode Anda, dan mengirimkannya.