crawler

बड़े पैमाने पर वेब को खोजने, स्क्रैप करने और इंटरैक्ट करने के लिए कॉन्टेक्स्ट API। 🔥

🕷️ एक एडेप्टिव Web Scraping फ्रेमवर्क जो सिंगल रिक्वेस्ट से लेकर फुल-स्केल क्रॉल तक सब कुछ संभालता है!

Scrapy, Python के लिए एक तेज़ और हाई-लेवल वेब क्रॉलिंग और स्क्रैपिंग फ़्रेमवर्क।

एक विज़ुअल नो-कोड/कोड-फ्री वेब क्रॉलर/स्पाइडर। आसान संग्रह: एक विज़ुअल ब्राउज़र ऑटोमेशन टेस्टिंग/डेटा संग्रह/वेब क्रॉलर सॉफ़्टवेयर, जो बिना कोड के ग्राफिकल रूप से क्रॉलर कार्यों को डिज़ाइन और निष्पादित कर सकता है। उपनाम: ServiceWrapper, वेब अनुप्रयोगों के लिए एक बुद्धिमान सेवा इनकैप्सुलेशन सिस्टम।

👾 Go में लिखित तेज़ और सरल वीडियो डाउनलोड लाइब्रेरी और CLI टूल

AI पर आधारित Python scraper

Python में ओपन सोर्स AI जॉब एप्लीकेशन बॉट: जॉब पोस्टिंग को पढ़ने के लिए ब्राउज़र ऑटोमेशन और वेब स्क्रैपिंग, फिर प्रत्येक पोस्टिंग के लिए एक अनुकूलित रिज्यूमे और कवर लेटर के साथ ऑटो-अप्लाई करना।

Crawlee—विश्वसनीय crawlers बनाने के लिए Node.js का एक web scraping और browser automation लाइब्रेरी। JavaScript और TypeScript में। AI, LLMs, RAG या GPTs के लिए डेटा एक्सट्रैक्ट करें। वेबसाइटों से HTML, PDF, JPG, PNG और अन्य फ़ाइलें डाउनलोड करें। Puppeteer, Playwright, Cheerio, JSDOM और raw HTTP के साथ काम करता है। headful और headless दोनों मोड उपलब्ध। proxy rotation के साथ।

Golang के लिए एलिगेंट स्क्रैपर और क्रॉलर फ्रेमवर्क

वेब स्पाइडर के लिए Python ProxyPool

🚀 「Douyin_TikTok_Download_API」एक बॉक्स से बाहर उपयोग करने के लिए तैयार, उच्च-प्रदर्शन वाला अतुल्यकालिक Douyin, Kuaishou, TikTok, Bilibili डेटा स्क्रैपिंग टूल है, जो API कॉल, ऑनलाइन बैच पार्सिंग और डाउनलोड का समर्थन करता है।

एक अगली पीढ़ी का क्रॉलिंग और स्पाइडरिंग फ्रेमवर्क।

🔥 web scraping, crawling, खोज और AI डेटा निष्कर्षण (data extraction) के लिए ओपन-सोर्स नो-कोड प्लेटफॉर्म • वेबसाइटों को मिनटों में संरचित (structured) APIs में बदलें 🔥

newspaper3k Python 3 में समाचार, पूर्ण-पाठ और लेख मेटाडाटा निष्कर्षण है। उन्नत दस्तावेज़:

Python वेब क्रॉलर्स के कुछ दिलचस्प उदाहरण, जो शुरुआती लोगों के लिए अनुकूल हैं। इसमें मुख्य रूप से Taobao, Tmall, WeChat, WeChat Reading, Douban, QQ आदि जैसी वेबसाइटों को क्रॉल किया गया है।

OSINT के लिए डिज़ाइन किया गया बेहद तेज़ क्रॉलर।

भाषाओं और फ्रेमवर्क की परवाह किए बिना स्पाइडर प्रबंधन के लिए डिस्ट्रिब्यूटेड वेब क्रॉलर एडमिन प्लेटफ़ॉर्म।

Java के लिए एक स्केलेबल वेब क्रॉलर फ्रेमवर्क।

Python स्क्रिप्ट। Zhihu पर सिम्युलेटेड लॉगिन, वेब स्क्रैपिंग, Excel ऑपरेशन, WeChat ऑफिशियल अकाउंट, और रिमोट वेक-अप।

AV मूवी मैनेजमेंट सिस्टम, avmoo, javbus, javlibrary क्रॉलर, ऑनलाइन AV वीडियो लाइब्रेरी, AV मैग्नेट लिंक डेटाबेस, जापानी एडल्ट वीडियो लाइब्रेरी, एडल्ट वीडियो मैग्नेट लिंक - जापानी एडल्ट वीडियो डेटाबेस

Crawlee—विश्वसनीय क्रॉलर बनाने के लिए Python के लिए एक वेब स्क्रैपिंग और ब्राउज़र ऑटोमेशन लाइब्रेरी। AI, LLMs, RAG, या GPTs के लिए डेटा निकालें। वेबसाइटों से HTML, PDF, JPG, PNG और अन्य फ़ाइलें डाउनलोड करें। Parsel, BeautifulSoup, Playwright, और raw HTTP के साथ काम करता है। हेडफुल और हेडलेस दोनों मोड। प्रॉक्सी रोटेशन के साथ।

OPC और छोटे एवं मध्यम उद्यमों के लिए विशेष रूप से तैयार किया गया सोशल मीडिया ग्राहक अधिग्रहण इंटेलिजेंट एजेंट

वेब स्क्रैपिंग और डेटा प्रोसेसिंग के लिए लाइब्रेरी, टूल्स और API की सूची।

Python के लिए एक स्मार्ट, स्वचालित, तेज़ और हल्का वेब स्क्रैपर

विभिन्न भाषाओं में बेहतरीन web crawlers और spiders का संग्रह

JMComic के लिए Python API | JMComic तक पहुँचने के लिए Python API प्रदान करता है, साथ ही वेब और मोबाइल दोनों को सपोर्ट करता है | JMComic GitHub Actions डाउनलोडर 🚀

Pydoll बिना WebDriver के Chromium-आधारित ब्राउज़र को स्वचालित करने के लिए एक लाइब्रेरी है, जो यथार्थवादी इंटरैक्शन प्रदान करती है।

NodeJS + सर्वर-साइड jQuery के लिए वेब क्रॉलर/स्पाइडर ;-)

वेब पर टेक्स्ट और मेटाडेटा एकत्र करने के लिए Python और कमांड-लाइन टूल: क्रॉलिंग, स्क्रैपिंग, एक्सट्रैक्शन, CSV, JSON, HTML, MD, TXT, XML के रूप में आउटपुट

सोसौ वेइचैट सर्च पर आधारित वेइचैट ऑफिशियल अकाउंट क्रॉलर इंटरफ़ेस