crawler

API konteks untuk mencari, melakukan scraping, dan berinteraksi dengan web dalam skala besar. 🔥

🕷️ Kerangka kerja Web Scraping adaptif yang menangani segalanya, mulai dari permintaan tunggal hingga perayapan skala penuh!

Scrapy, framework web crawling & scraping tingkat tinggi yang cepat untuk Python.

Crawler/spider web visual tanpa kode. Perangkat lunak otomatisasi browser/pengumpulan data/web crawler visual yang memungkinkan desain dan eksekusi tugas crawler secara grafis tanpa kode.

👾 Pustaka pengunduhan video dan alat CLI yang cepat dan sederhana, ditulis dalam Go

Scraper Python berbasis AI.

Bot lamaran kerja AI sumber terbuka berbasis Python: menggunakan otomatisasi browser dan web scraping untuk membaca lowongan kerja, lalu melamar secara otomatis dengan resume dan surat lamaran yang disesuaikan untuk setiap lowongan.

Crawlee—Pustaka web scraping dan otomatisasi browser untuk Node.js guna membangun crawler yang andal. Tersedia dalam JavaScript dan TypeScript. Ekstrak data untuk AI, LLM, RAG, atau GPT. Unduh HTML, PDF, JPG, PNG, dan file lainnya dari situs web. Mendukung Puppeteer, Playwright, Cheerio, JSDOM, dan HTTP mentah. Mendukung mode headful dan headless, serta rotasi proxy.

Kerangka Kerja Scraper dan Crawler Elegan untuk Golang

Python ProxyPool untuk web spider

Douyin_TikTok_Download_API adalah alat pengikis data Douyin, Kuaishou, TikTok, dan Bilibili yang berkinerja tinggi dan siap pakai, mendukung panggilan API, serta penguraian dan pengunduhan batch secara daring.

Kerangka kerja crawling dan spidering generasi berikutnya.

Platform no-code open-source untuk web scraping, crawling, pencarian, dan ekstraksi data AI • Ubah situs web menjadi API terstruktur dalam hitungan menit

newspaper3k adalah alat ekstraksi berita, teks lengkap, dan metadata artikel dalam Python 3. Dokumentasi lengkap:

Beberapa contoh crawler Python yang menarik dan ramah bagi pemula, terutama untuk melakukan crawling pada situs seperti Taobao, Tmall, WeChat, WeChat Reading, Douban, QQ, dll.

Crawler yang sangat cepat dirancang untuk OSINT.

Platform admin web crawler terdistribusi untuk manajemen spider tanpa batasan bahasa atau framework.

Kerangka kerja web crawler yang dapat diskalakan untuk Java.

Skrip Python untuk login otomatis Zhihu, web scraping, operasi excel, akun resmi WeChat, dan menyalakan komputer dari jarak jauh.

Sistem manajemen film AV, crawler avmoo, javbus, javlibrary, perpustakaan film AV online, basis data tautan magnetik AV, Japanese Adult Video Library, Adult Video Magnet Links - Japanese Adult Video Database

Crawlee—Pustaka web scraping dan otomatisasi browser untuk Python guna membangun crawler yang andal. Ekstrak data untuk AI, LLM, RAG, atau GPT. Unduh HTML, PDF, JPG, PNG, dan file lainnya dari situs web. Bekerja dengan Parsel, BeautifulSoup, Playwright, dan HTTP mentah. Mendukung mode headful dan headless. Dengan rotasi proxy.

Agent AI akuisisi pelanggan media mandiri yang dirancang khusus untuk OPC / UMKM

Daftar pustaka, alat, dan API untuk web scraping dan pemrosesan data.

Web Scraper yang Cerdas, Otomatis, Cepat, dan Ringan untuk Python

Koleksi web crawler dan spider luar biasa dalam berbagai bahasa pemrograman

Python API untuk JMComic | Menyediakan akses Python API ke JMComic, mendukung versi web dan seluler | Pengunduh GitHub Actions untuk JMComic🚀

Pydoll adalah pustaka untuk mengotomatiskan peramban berbasis Chromium tanpa WebDriver, menawarkan interaksi yang realistis.

Web Crawler/Spider untuk NodeJS + jQuery sisi server ;-)

Alat Python & baris perintah untuk mengumpulkan teks dan metadata di Web: Crawling, scraping, ekstraksi, output sebagai CSV, JSON, HTML, MD, TXT, XML

Antarmuka crawler akun resmi WeChat berdasarkan Pencarian Sogou WeChat