crawling

🕷️ एक एडेप्टिव Web Scraping फ्रेमवर्क जो सिंगल रिक्वेस्ट से लेकर फुल-स्केल क्रॉल तक सब कुछ संभालता है!

Scrapy, Python के लिए एक तेज़ और हाई-लेवल वेब क्रॉलिंग और स्क्रैपिंग फ़्रेमवर्क।

Crawlee—विश्वसनीय crawlers बनाने के लिए Node.js का एक web scraping और browser automation लाइब्रेरी। JavaScript और TypeScript में। AI, LLMs, RAG या GPTs के लिए डेटा एक्सट्रैक्ट करें। वेबसाइटों से HTML, PDF, JPG, PNG और अन्य फ़ाइलें डाउनलोड करें। Puppeteer, Playwright, Cheerio, JSDOM और raw HTTP के साथ काम करता है। headful और headless दोनों मोड उपलब्ध। proxy rotation के साथ।

Golang के लिए एलिगेंट स्क्रैपर और क्रॉलर फ्रेमवर्क

🔥 web scraping, crawling, खोज और AI डेटा निष्कर्षण (data extraction) के लिए ओपन-सोर्स नो-कोड प्लेटफॉर्म • वेबसाइटों को मिनटों में संरचित (structured) APIs में बदलें 🔥

newspaper3k Python 3 में समाचार, पूर्ण-पाठ और लेख मेटाडाटा निष्कर्षण है। उन्नत दस्तावेज़:

Crawlee—विश्वसनीय क्रॉलर बनाने के लिए Python के लिए एक वेब स्क्रैपिंग और ब्राउज़र ऑटोमेशन लाइब्रेरी। AI, LLMs, RAG, या GPTs के लिए डेटा निकालें। वेबसाइटों से HTML, PDF, JPG, PNG और अन्य फ़ाइलें डाउनलोड करें। Parsel, BeautifulSoup, Playwright, और raw HTTP के साथ काम करता है। हेडफुल और हेडलेस दोनों मोड। प्रॉक्सी रोटेशन के साथ।

वेब स्क्रैपिंग और डेटा प्रोसेसिंग के लिए लाइब्रेरी, टूल्स और API की सूची।

वेब ऑटोमेशन और स्क्रैपिंग के लिए एक Chrome DevTools Protocol ड्राइवर।

वेब एप्लिकेशन के भीतर एंडपॉइंट्स और एसेट्स की आसान और त्वरित खोज के लिए डिज़ाइन किया गया सरल, तेज़ वेब क्रॉलर

वेब खोज और वेब क्रॉलिंग के लिए Exa MCP!

अवरुद्ध करने के लिए AI एजेंटों और रोबोटों की सूची।

हेडलेस Chrome .NET API

डोमेन की एक सूची लें, यूआरएल क्रॉल करें और एंडपॉइंट्स, सीक्रेट्स, एपीआई कीज़, फाइल एक्सटेंशन, टोकन और अन्य के लिए स्कैन करें

Apache Nutch एक एक्स्टेंसिबल और स्केलेबल वेब क्रॉलर है

शानदार puppeteer संसाधनों की क्यूरेटेड सूची।

वेब स्क्रैपिंग फ्रेमवर्क

📅🇨🇳 चीनी कानूनी छुट्टियों का डेटा, राज्य परिषद की घोषणाओं को स्वचालित रूप से दैनिक स्क्रैप करता है

BlueSky Collector एक ओपन-सोर्स और मुफ्त क्रॉलर सिस्टम है, जो डेटा एकत्र करने के लिए केवल नियमों को क्लिक और संपादित करने की अनुमति देता है। यह स्थानीय, वर्चुअल होस्ट या क्लाउड सर्वर पर चल सकता है, लगभग सभी प्रकार के वेब पेजों को एकत्र कर सकता है, विभिन्न CMS वेबसाइट निर्माण कार्यक्रमों के साथ सहज रूप से एकीकृत हो सकता है, बिना लॉगिन के वास्तविक समय में डेटा प्रकाशित कर सकता है, और बिना किसी मानवीय हस्तक्षेप के पूरी तरह से स्वचालित है! यह वेब बिग डेटा संग्रह सॉफ्टवेयर के बीच पूरी तरह से क्रॉस-प्लेटफॉर्म क्लाउड क्रॉलर सिस्टम है।

PHP के लिए संपूर्ण वेब स्क्रैपिंग टूलकिट।

ऑटोमेशन डिटेक्शन और लीक से बचने के लिए puppeteer और playwright के पैच का संग्रह। Cloudflare और DataDome CAPTCHA पृष्ठों से बचने में मदद करता है। पैच/अनपैच करना आसान है, मांग पर सक्षम/अक्षम किया जा सकता है।

🤖 केवल उदाहरण प्रदान करके HTML वेबसाइटों से स्वचालित रूप से डेटा स्क्रैप करें

<6 महीने का काम 1 दिन में पूरा करने वाला वर्क ऑटोमेशन (Saengneung Publishing, 2020)> का उदाहरण कोड। यह उन लोगों के लिए एक उदाहरण है जिन्होंने कभी Python नहीं सीखा है, और Excel से लेकर डिजाइन, मैक्रो और क्रॉलिंग तक कार्य स्वचालन से संबंधित विभिन्न क्षेत्रों के उदाहरण प्रदान किए गए हैं।

एक सिंगल Docker कंटेनर में उच्च-निष्ठा ब्राउज़र-आधारित वेब आर्काइविंग क्रॉलर चलाएं

Crawly, Elixir के लिए एक उच्च-स्तरीय वेब क्रॉलिंग और स्क्रैपिंग फ्रेमवर्क।

+40 लोकप्रिय डोमेन के लिए स्केलेबल Python वेब स्क्रैपिंग स्क्रिप्ट।

Selenium का उपयोग करके जावास्क्रिप्ट पेजों को संभालने के लिए Scrapy मिडलवेयर।

आज हम साइट के एडमिन पैनल को हैक करेंगे।

SiteOne Crawler एक क्रॉस-प्लेटफ़ॉर्म वेबसाइट क्रॉलर और एनालाइज़र है जो SEO, सुरक्षा, एक्सेसिबिलिटी और प्रदर्शन अनुकूलन के लिए है—डेवलपर्स, DevOps, QA इंजीनियरों और सलाहकारों के लिए आदर्श। Windows, macOS और Linux (x64 और arm64) का समर्थन करता है।

Scrapy स्पाइडर के लिए HTTP API