crawler

क्रॉलर रिवर्स इंजीनियरिंग केस स्टडीज, जिसमें TLS फिंगरप्रिंटिंग,瑞数, 震坤行, 网易易盾, WeChat मिनी प्रोग्राम डीकंपाइलेशन, 同花顺, RPC डिक्रिप्शन, 加速乐, Geetest स्लाइडर कैप्चा, 巨量算数, Boss Zhipin, Qichacha, China Minmetals, QQ Music, औद्योगिक नीति डेटा प्लेटफ़ॉर्म, Qizhidao, Xueqiu, 1688, Qimai Data, whggzy, Qiming Technology, mohurd, EntGroup और OKLink शामिल हैं।

SiteOne Crawler एक क्रॉस-प्लेटफ़ॉर्म वेबसाइट क्रॉलर और एनालाइज़र है जो SEO, सुरक्षा, एक्सेसिबिलिटी और प्रदर्शन अनुकूलन के लिए है—डेवलपर्स, DevOps, QA इंजीनियरों और सलाहकारों के लिए आदर्श। Windows, macOS और Linux (x64 और arm64) का समर्थन करता है।

Scrapy स्पाइडर के लिए HTTP API

उच्च-प्रदर्शन वाला एसिंक्रोनस Douyin, TikTok, Xiaohongshu, Kuaishou, Weibo, Instagram, YouTube, Twitter(X) कैप्चा सॉल्वर और टेम्प मेल API।

Kotlin-आधारित एक टेस्टिंग, स्क्रैपिंग और पार्सिंग लाइब्रेरी, जो HTML (सर्वर और क्लाइंट-साइड रेंडर) से डेटा का विश्लेषण और निष्कर्षण करने की सुविधा देती है। यह एक सहज DSL प्रदान करके उपयोग में आसानी और उच्च पठनीयता पर जोर देती है। इसे एक टेस्टिंग लाइब्रेरी के रूप में बनाया गया है, लेकिन इसका उपयोग वेबसाइटों को आसानी से स्क्रैप करने के लिए भी किया जा सकता है।

ArrowDL (Arrow Downloader) विंडोज, MacOS और Linux के लिए एक डाउनलोड मैनेजर है

एक बहुमुखी Ruby वेब स्पाइडरिंग लाइब्रेरी जो किसी साइट, कई डोमेन, विशिष्ट लिंक या अनंत रूप से स्पाइडर कर सकती है। Spidr को तेज़ और उपयोग में आसान बनाने के लिए डिज़ाइन किया गया है।

AI रिवर्स इंजीनियरिंग टूल

सरल लेकिन उपयोगी Python वेब स्क्रैपिंग ट्यूटोरियल कोड।

Chrome और Firefox के लिए Java API

Doujinshi डाउनलोडर 绅士漫画下载

js cookie रिवर्स इंजीनियरिंग टूल: js cookie परिवर्तन मॉनिटरिंग विज़ुअलाइज़ेशन टूल और js cookie हुक कंडीशनल ब्रेकपॉइंट

ओपन सोर्स SEO ऑडिट टूल।

LinkedIn प्रोफाइल स्क्रैपर जो JSON में संरचित प्रोफाइल डेटा लौटाता है।

क्रॉलर रिवर्स इंजीनियरिंग एडवांस्ड प्रैक्टिकल बुक का कोड रिपॉजिटरी।

एक हल्का वेब क्रॉलर फ्रेमवर्क।

The Big Brother V6.0 एक वेपनाइज्ड OSINT प्लेटफॉर्म है जिसमें यूजरनेम एन्यूमरेशन (473+ प्लेटफॉर्म), क्वाड-वेक्टर विज़ुअल इंटेलिजेंस, स्काई रडार ट्रैकिंग, क्रिप्टो वॉलेट एनालिसिस, SSL इंटेलिजेंस, डिजिटल फुटप्रिंट रिकंस्ट्रक्शन, EXIF एक्सट्रैक्शन, एडवांस्ड डॉर्किंग और नेटवर्क रिकोनिसेंस शामिल हैं।

ChatGPT से Hacker News का सारांश प्राप्त करें

Tumblr और Twitter ब्लॉग बैकअप एप्लिकेशन।

सर्वश्रेष्ठ PTT लाइब्रेरी।

Wscan एक वेब सुरक्षा स्कैनर है जो वेब सुरक्षा पर केंद्रित है, जिसे वेब सुरक्षा को सभी के लिए सुलभ बनाने के लिए समर्पित किया गया है।

Python का उपयोग करके Google, Bing, Yahoo और अन्य सर्च इंजनों पर सर्च करें।

"Craw4LLM: LLM प्रीट्रेनिंग के लिए कुशल वेब क्रॉलिंग" के लिए आधिकारिक रिपॉजिटरी

Krawl एक कस्टमाइज़ करने योग्य, हल्का, क्लाउड-नेटिव वेब डिसेप्शन सर्वर और एंटी-क्रॉलर है जो यथार्थवादी, यादृच्छिक रूप से जेनरेट किए गए डिकॉय डेटा और AI-जेनरेट किए गए HTML टेम्पलेट्स का उपयोग करके कमज़ोरियों वाले नकली वेब एप्लिकेशन बनाता है।

NetDiscovery Vert.x, RxJava 2 और अन्य फ्रेमवर्क पर आधारित एक सामान्य क्रॉलर फ्रेमवर्क/मिडलवेयर है।

वेबपेजों को छवियों, css, js और लिंक के साथ सीधे आपकी हार्ड डिस्क पर स्थानीय रूप से सहेजता है।

Moodle-DL, Moodle से कोर्स सामग्री (जैसे लेक्चर पीडीएफ) तेजी से डाउनलोड करता है

Jie वेब एप्लिकेशन के लिए एक व्यापक सुरक्षा मूल्यांकन और एक्सप्लॉइटेशन टूल है। इसमें वल्नेरेबिलिटी स्कैनिंग, सूचना एकत्र करने और एक्सप्लॉइटेशन जैसी सुविधाएं शामिल हैं, जो इसे सुरक्षा पेशेवरों और पेनेट्रेशन टेस्टर्स के लिए एक अनिवार्य टूलकिट बनाती हैं।

Node.js के लिए एक विश्वसनीय हाई-लेवल वेब क्रॉलिंग और स्क्रैपिंग फ्रेमवर्क।

AI के लिए ओपन सोर्स वेब इन्फ्रास्ट्रक्चर। स्क्रैप करें, क्रॉल करें और वेब को स्वचालित करें, साफ मार्कडाउन, ब्राउज़र सेशन, आपके एजेंटों के लिए तैयार।