crawling

🕷️ Kerangka kerja Web Scraping adaptif yang menangani segalanya, mulai dari permintaan tunggal hingga perayapan skala penuh!

Scrapy, framework web crawling & scraping tingkat tinggi yang cepat untuk Python.

Crawlee—Pustaka web scraping dan otomatisasi browser untuk Node.js guna membangun crawler yang andal. Tersedia dalam JavaScript dan TypeScript. Ekstrak data untuk AI, LLM, RAG, atau GPT. Unduh HTML, PDF, JPG, PNG, dan file lainnya dari situs web. Mendukung Puppeteer, Playwright, Cheerio, JSDOM, dan HTTP mentah. Mendukung mode headful dan headless, serta rotasi proxy.

Kerangka Kerja Scraper dan Crawler Elegan untuk Golang

Platform no-code open-source untuk web scraping, crawling, pencarian, dan ekstraksi data AI • Ubah situs web menjadi API terstruktur dalam hitungan menit

newspaper3k adalah alat ekstraksi berita, teks lengkap, dan metadata artikel dalam Python 3. Dokumentasi lengkap:

Crawlee—Pustaka web scraping dan otomatisasi browser untuk Python guna membangun crawler yang andal. Ekstrak data untuk AI, LLM, RAG, atau GPT. Unduh HTML, PDF, JPG, PNG, dan file lainnya dari situs web. Bekerja dengan Parsel, BeautifulSoup, Playwright, dan HTTP mentah. Mendukung mode headful dan headless. Dengan rotasi proxy.

Daftar pustaka, alat, dan API untuk web scraping dan pemrosesan data.

Driver Chrome DevTools Protocol untuk otomatisasi web dan scraping.

Web crawler yang sederhana dan cepat, dirancang untuk penemuan endpoint dan aset dalam aplikasi web secara mudah dan cepat

Exa MCP untuk pencarian web dan perayapan web!

Daftar agen AI dan robot untuk diblokir.

API .NET untuk Headless Chrome.

Mengambil daftar domain, merayapi URL, dan memindai endpoint, rahasia, kunci API, ekstensi file, token, dan lainnya

Apache Nutch adalah perayap web yang dapat diperluas dan diskalakan

Daftar pilihan sumber daya puppeteer yang luar biasa.

Kerangka Kerja Web Scraping

Data hari libur resmi Tiongkok, diperbarui secara otomatis setiap hari dari pengumuman Dewan Negara.

LanTian Crawler adalah sistem crawler sumber terbuka gratis yang memungkinkan pengumpulan data hanya dengan mengklik dan mengedit aturan. Dapat dijalankan secara lokal, di hosting virtual, atau server cloud, mampu mengumpulkan hampir semua jenis halaman web, terintegrasi dengan berbagai CMS, mempublikasikan data secara real-time tanpa login, dan sepenuhnya otomatis. Ini adalah sistem crawler cloud lintas platform untuk pengumpulan data web besar.

Toolkit web scraping lengkap untuk PHP.

Kumpulan patch untuk puppeteer dan playwright untuk menghindari deteksi otomatisasi dan kebocoran. Membantu menghindari halaman CAPTCHA Cloudflare dan DataDome. Mudah dipatch/unpatch, dapat diaktifkan/dinonaktifkan sesuai kebutuhan.

🤖 Mengikis data dari situs web HTML secara otomatis hanya dengan menyediakan contoh

Kode contoh dari buku "Otomatisasi Pekerjaan yang Menyelesaikan Pekerjaan 6 Bulan dalam Sehari" (Saengneung Publishing, 2020). Ditujukan bagi pemula yang belum pernah belajar Python, mencakup berbagai topik otomatisasi perkantoran dari Excel, desain, makro, hingga web scraping.

Menjalankan crawler pengarsipan web berbasis peramban berketepatan tinggi dalam satu container Docker

Crawly, kerangka kerja web crawling & scraping tingkat tinggi untuk Elixir.

Skrip web scraping Python yang dapat diskalakan untuk +40 domain populer

Middleware Scrapy untuk menangani halaman JavaScript menggunakan Selenium

hari ini kita akan meretas panel admin situs tersebut.

SiteOne Crawler adalah perayap dan penganalisis situs web lintas platform untuk SEO, keamanan, aksesibilitas, dan optimasi performa—ideal untuk pengembang, DevOps, insinyur QA, dan konsultan. Mendukung Windows, macOS, dan Linux (x64 dan arm64).

HTTP API untuk spider Scrapy