crawler

लीक किए गए GPTs Prompts 25 संदेश सीमा को बायपास करते हैं या Plus सब्सक्रिप्शन के बिना GPTs आज़माने के लिए हैं।

वेब स्क्रैपिंग फ्रेमवर्क

🕷 CrawlerDetect यूजर एजेंट के माध्यम से बॉट्स/क्रॉलर्स/स्पाइडर्स का पता लगाने के लिए एक PHP क्लास है

गति और लचीलेपन के लिए निर्मित क्रॉस प्लेटफ़ॉर्म C# वेब क्रॉलर फ़्रेमवर्क। कृपया इस प्रोजेक्ट को स्टार दें! +1।

वेबसाइट क्लोनर - सेकंड के भीतर आपकी कंप्यूटर पर वेबसाइटों को क्लोन करने के लिए शक्तिशाली Go रूटीन का उपयोग करता है।

🏳️‍🌈 Twitter, Reddit, Instagram, BlueSky, TikTok, Threads, Facebook, OnlyFans, YouTube, Pinterest, PornHub, XHamster, XVIDEOS, ThisVid आदि सहित किसी भी साइट से मीडिया डाउनलोडर।

वेब सामग्री को LLM-रेडी डेटा में बदलें

BlueSky Collector एक ओपन-सोर्स और मुफ्त क्रॉलर सिस्टम है, जो डेटा एकत्र करने के लिए केवल नियमों को क्लिक और संपादित करने की अनुमति देता है। यह स्थानीय, वर्चुअल होस्ट या क्लाउड सर्वर पर चल सकता है, लगभग सभी प्रकार के वेब पेजों को एकत्र कर सकता है, विभिन्न CMS वेबसाइट निर्माण कार्यक्रमों के साथ सहज रूप से एकीकृत हो सकता है, बिना लॉगिन के वास्तविक समय में डेटा प्रकाशित कर सकता है, और बिना किसी मानवीय हस्तक्षेप के पूरी तरह से स्वचालित है! यह वेब बिग डेटा संग्रह सॉफ्टवेयर के बीच पूरी तरह से क्रॉस-प्लेटफॉर्म क्लाउड क्रॉलर सिस्टम है।

asyncio पर आधारित वेब क्रॉलिंग फ्रेमवर्क।

वेब क्रॉलर के उदाहरणों का संग्रह। इसमें ताओबाओ, जेडी, टिमॉल, इडियट, डॉयिन, कुआइशोउ, वीबो, वीचैट, अलीबाबा, टायटोआओ, पीडीएफ, यूकू, आईक्यूई, सीट्रिप, 12306, 58, सोहू, विभिन्न सूचकांक, वीपु वानफांग, जेडलाइब्रेरी, ओएलिब, उपन्यास, टेंडर नेटवर्क, प्रोक्योरमेंट नेटवर्क, शियाओहोंगशु, डियानपिंग, ट्विटर, माइमाई, झिहू और बहुत कुछ शामिल हैं, लेकिन इन्हीं तक सीमित नहीं है।

Playwright के लिए मुफ्त एंटीडिटेक्ट ब्राउज़र स्टील्थ: अनिर्धारित हेडलेस Firefox फिंगरप्रिंट। Python स्क्रैपिंग, रीकैप्चा और बॉट डिटेक्शन बायपास। ओपन सोर्स

स्ट्रीमिंग साइटों से डेटा निकालने के लिए NewPipe की मुख्य लाइब्रेरी।

ब्राउज़र मेमोरी रोमिंग समाधान (अन्वेषण जारी...)

मैग्नेट वेबसाइट U3C3 का परिचय और डोमेन अपडेट

लचीली Node.js AI-सहायता प्राप्त क्रॉलर लाइब्रेरी

मल्टी-प्लेटफॉर्म सामग्री निगरानी, ​​संग्रहण और स्थानांतरण। एक वेब पैनल Douyin / Xiaohongshu / Kuaishou को प्रबंधित करता है।

Diskover कम्युनिटी एडिशन - Elasticsearch द्वारा संचालित ओपन सोर्स फ़ाइल इंडेक्सर, फ़ाइल सर्च इंजन और डेटा प्रबंधन और एनालिटिक्स

Google, Naver मल्टीप्रोसेस इमेज वेब क्रॉलर (Selenium)

Modest और Lexbor इंजन के लिए Python बाइंडिंग। Python के लिए CSS चयनकर्ताओं के साथ तेज़ HTML5 पार्सर।

python क्रॉलर, वर्तमान इन्वेंट्री: NetEase Cloud Music गाने, Bilibili वीडियो, Zhihu प्रश्न और उत्तर, वॉलपेपर, xvideos वीडियो, ऑडियोबुक, Weibo क्रॉलर, Anjuke जानकारी + डेटा विज़ुअलाइज़ेशन, Bilibili वीडियो कवर एक्सट्रैक्टर, IP प्रॉक्सी पूल, Zhihu दस लाख उपयोगकर्ता क्रॉलर + डेटा विश्लेषण, GitHub उपयोगकर्ता क्रॉलर।

आर्किवाइस्ट का वेब क्रॉलर: WARC आउटपुट, सभी क्रॉल के लिए डैशबोर्ड, और गतिशील इग्नोर पैटर्न

Douyin क्रॉलर - अकाउंट होमपेज, पसंद, पसंदीदा, मूल संगीत, टॉपिक्स, खोज, संग्रह, पोस्ट, फ़ॉलोअर्स, फ़ॉलोइंग और अन्य सार्वजनिक डेटा एकत्र करता है।

ScopeSentry-साइबरस्पेस मैपिंग, सबडोमेन एन्यूमरेशन, पोर्ट स्कैनिंग, संवेदनशील जानकारी की खोज, कमज़ोरी स्कैनिंग, वितरित नोड्स

SingleFile पर आधारित एक ही HTML फाइल में संपूर्ण वेब पेज की सटीक प्रतिलिपि सहेजने के लिए CLI टूल

❤️ Fredy - [F]ind [R]eal [E]state [D]amn Eas[y] - Fredy ImmoScout24, Immowelt, eBay Kleinanzeigen जैसे प्लेटफार्मों पर यूरोप में नए अपार्टमेंट, घरों और फ्लैटों की खोज करता रहता है और तुरंत आपको Slack, Telegram, Email, Discord या ntfy के माध्यम से परिणाम पहुँचाता है, ताकि आप जीवन में अधिक महत्वपूर्ण चीज़ों पर ध्यान केंद्रित कर सकें ;)

Elasticsearch फ़ाइल सिस्टम क्रॉलर (FS Crawler)

एक एर्गोनोमिक, गोपनीयता-जागरूक Python HTTP क्लाइंट

Xiaohongshu डेटा संग्रहण, वेबसाइट चित्र, वीडियो संसाधन बैच डाउनलोड टूल, अत्यधिक आकर्षक डेटा संग्रहण टूल (बैच डाउनलोड, वीडियो एक्सट्रैक्शन, चित्र) Telegram:https://t.me/+ZtLSwuIKTo44MDY1

ऑटोमेशन डिटेक्शन और लीक से बचने के लिए puppeteer और playwright के पैच का संग्रह। Cloudflare और DataDome CAPTCHA पृष्ठों से बचने में मदद करता है। पैच/अनपैच करना आसान है, मांग पर सक्षम/अक्षम किया जा सकता है।

एक वेब गोपनीयता माप ढांचा