spider

वेब स्क्रैपिंग फ्रेमवर्क

🕷 CrawlerDetect यूजर एजेंट के माध्यम से बॉट्स/क्रॉलर्स/स्पाइडर्स का पता लगाने के लिए एक PHP क्लास है

Google, Bing और Baidu से इमेज डाउनलोड करें।

गति और लचीलेपन के लिए निर्मित क्रॉस प्लेटफ़ॉर्म C# वेब क्रॉलर फ़्रेमवर्क। कृपया इस प्रोजेक्ट को स्टार दें! +1।

BlueSky Collector एक ओपन-सोर्स और मुफ्त क्रॉलर सिस्टम है, जो डेटा एकत्र करने के लिए केवल नियमों को क्लिक और संपादित करने की अनुमति देता है। यह स्थानीय, वर्चुअल होस्ट या क्लाउड सर्वर पर चल सकता है, लगभग सभी प्रकार के वेब पेजों को एकत्र कर सकता है, विभिन्न CMS वेबसाइट निर्माण कार्यक्रमों के साथ सहज रूप से एकीकृत हो सकता है, बिना लॉगिन के वास्तविक समय में डेटा प्रकाशित कर सकता है, और बिना किसी मानवीय हस्तक्षेप के पूरी तरह से स्वचालित है! यह वेब बिग डेटा संग्रह सॉफ्टवेयर के बीच पूरी तरह से क्रॉस-प्लेटफॉर्म क्लाउड क्रॉलर सिस्टम है।

asyncio पर आधारित वेब क्रॉलिंग फ्रेमवर्क।

मैग्नेट वेबसाइट U3C3 का परिचय और डोमेन अपडेट

लचीली Node.js AI-सहायता प्राप्त क्रॉलर लाइब्रेरी

लक्ष्य वेबसाइट पर OSINT एकत्र करने और OWASP कमजोरियों के लिए फ़ज़ करने के लिए एक Python-आधारित वेब एप्लिकेशन स्कैनर।

QQ स्पेस एक्सपोर्ट असिस्टेंट, जिसका उपयोग QQ स्पेस के说说, लॉग, निजी डायरी, एल्बम, वीडियो, संदेश बोर्ड, QQ मित्रों, पसंदीदा, शेयर और हाल के आगंतुकों को माइग्रेशन और सहेजने के लिए फ़ाइलों के रूप में बैकअप लेने के लिए किया जाता है

python क्रॉलर, वर्तमान इन्वेंट्री: NetEase Cloud Music गाने, Bilibili वीडियो, Zhihu प्रश्न और उत्तर, वॉलपेपर, xvideos वीडियो, ऑडियोबुक, Weibo क्रॉलर, Anjuke जानकारी + डेटा विज़ुअलाइज़ेशन, Bilibili वीडियो कवर एक्सट्रैक्टर, IP प्रॉक्सी पूल, Zhihu दस लाख उपयोगकर्ता क्रॉलर + डेटा विश्लेषण, GitHub उपयोगकर्ता क्रॉलर।

आर्किवाइस्ट का वेब क्रॉलर: WARC आउटपुट, सभी क्रॉल के लिए डैशबोर्ड, और गतिशील इग्नोर पैटर्न

Douyin क्रॉलर - अकाउंट होमपेज, पसंद, पसंदीदा, मूल संगीत, टॉपिक्स, खोज, संग्रह, पोस्ट, फ़ॉलोअर्स, फ़ॉलोइंग और अन्य सार्वजनिक डेटा एकत्र करता है।

देखे गए बेहतरीन रिवर्स-इंजीनियरिंग लेखों का संग्रह, जो देखने लायक हैं

K-Ge क्रॉलर कोड शेयरिंग, JS रिवर्स, क्रॉलर एडवांस। आधिकारिक अकाउंट फॉलो करें: K-Ge क्रॉलर

📰 सभी के लिए सुलभ ब्राजीलियाई सरकारी गजट

प्रमुख क्रॉस साइट रिक्वेस्ट फोर्जिंग (CSRF) ऑडिट और एक्सप्लॉइट टूलकिट।

इंटरनेट से ई-बुक्स डाउनलोड करने के लिए एक डाउनलोड टूल।

बॉस ज़िपिन जॉब स्क्रैपर/क्रॉलर - क्रोम सीडीपी प्रोटोकॉल पर आधारित जो वास्तविक लॉगिन स्थिति का पुन: उपयोग करता है, फ़ॉन्ट एंटी-क्रॉल को बायपास करता है, और सादा पाठ वेतन JSON/CSV + वेतन कौशल विश्लेषण आउटपुट करता है।

Beanbun PHP में लिखा गया एक मल्टी-प्रोसेस वेब क्रॉलर फ्रेमवर्क है, जिसमें अच्छा खुलापन और उच्च स्केलेबिलिटी है, जो Workerman पर आधारित है।

llms बड़े मॉडल नोट्स के 50 लेख। इस रिपॉजिटरी में मशीन लर्निंग, डीप लर्निंग, कंप्यूटर विजन, नेचुरल लैंग्वेज प्रोसेसिंग, बड़े मॉडल और वेब स्क्रैपिंग जैसे क्षेत्रों में व्यावहारिक प्रोजेक्ट शामिल हैं।

Crawly, Elixir के लिए एक उच्च-स्तरीय वेब क्रॉलिंग और स्क्रैपिंग फ्रेमवर्क।

:alien: OneBlog, एक सरल, सुंदर, शक्तिशाली और रिस्पॉन्सिबल Java ब्लॉग

WeChat आधिकारिक अकाउंट लेखों को क्रॉल करें

+40 लोकप्रिय डोमेन के लिए स्केलेबल Python वेब स्क्रैपिंग स्क्रिप्ट।

JS रिवर्स इंजीनियरिंग और एंटी-स्क्रेपिंग एन्क्रिप्शन पैरामीटर क्रैकिंग टूल्स, जिसमें विभिन्न लोकप्रिय चीनी वेबसाइटों और सेवाओं के लॉगिन और टोकन शामिल हैं।

Golang शॉर्ट वीडियो वॉटरमार्क हटाने वाला टूल: Douyin, Pipixia, Huoshan, Weishi, Zuiyou, Kuaishou, Quanmin Xiaoshipin, Pipigaoxiao, Xigua Video, Huya, Pear Video, AcFun, Haokan Video...

उपन्यास डाउनलोड | उपन्यास स्क्रैपिंग | Qidian | Biquge | Markdown निर्यात | txt निर्यात | epub रूपांतरण | विज्ञापन फ़िल्टरिंग | स्वचालित प्रूफरीडिंग

उपयोग में आसान वेब कंसोल के साथ एक कॉन्फ़िगर करने योग्य वेब स्पाइडर

SpiderSuite (web security crawler) रिलीज़, विकी और रोडमैप