crawl

INFO-SPIDER कई डेटा स्रोतों वाला एक क्रॉलर टूलबॉक्स 🧰 है, जिसका उद्देश्य उपयोगकर्ताओं को सुरक्षित और तेزی से अपना डेटा वापस पाने में मदद करना है। टूल कोड ओपन-सोर्स है और प्रक्रिया पारदर्शी है। समर्थित डेटा स्रोतों में GitHub, QQ ईमेल, Netease ईमेल, अलीबाबा ईमेल, Sina ईमेल, Hotmail ईमेल, Outlook ईमेल, JD.com, Taobao, Alipay, चाइना मोबाइल, चाइना यूनिकॉम, चाइना टेलीकॉम, Zhihu, Bilibili, Netease क्लाउड म्यूज़िक, QQ मित्र, QQ समूह, WeChat मोमेंट्स एल्बम जनरेशन, ब्राउज़र इतिहास, 12306, Cnblogs, CSDN,开源中国 और Jianshu शामिल हैं।

novel-plus एक मल्टी-एंड (PC, WAP) रीडिंग और पूरी तरह कार्यात्मक उपन्यास CMS सिस्टम है। इसमें उपन्यास अनुशंसा, खोज, रैंकिंग, रीडिंग, बुकशेल्फ़, समीक्षाएँ, क्रॉलर, सदस्य केंद्र, लेखक क्षेत्र, रिचार्ज सब्सक्रिप्शन, और समाचार प्रकाशन जैसी सुविधाएँ शामिल हैं।

AnyCrawl 🚀: एक Node.js/TypeScript क्रॉलर जो वेबसाइटों को LLM-तैयार डेटा में बदलता है और Google/Bing/Baidu आदि से संरचित SERP परिणाम निकालता है। थोक प्रसंस्करण के लिए मूल मल्टी-थ्रेडिंग।

Xiaohongshu Web 端 API 封装。https://reajason.github.io/xhs/

लचीली Node.js AI-सहायता प्राप्त क्रॉलर लाइब्रेरी

आर्किवाइस्ट का वेब क्रॉलर: WARC आउटपुट, सभी क्रॉल के लिए डैशबोर्ड, और गतिशील इग्नोर पैटर्न

देखे गए बेहतरीन रिवर्स-इंजीनियरिंग लेखों का संग्रह, जो देखने लायक हैं

Tavily Python SDK Tavily API के साथ आसान इंटरैक्शन की अनुमति देता है, जो आपके Python प्रोग्राम से सीधे हमारे खोज, निष्कर्षण, क्रॉल, मानचित्र और अनुसंधान कार्यों की पूरी श्रृंखला प्रदान करता है। Tavily की शक्तिशाली सुविधाओं का लाभ उठाते हुए अपने अनुप्रयोगों में आसानी से स्मार्ट खोज, सामग्री निष्कर्षण और अनुसंधान क्षमताओं को एकीकृत करें।

JS रिवर्स इंजीनियरिंग और एंटी-स्क्रेपिंग एन्क्रिप्शन पैरामीटर क्रैकिंग टूल्स, जिसमें विभिन्न लोकप्रिय चीनी वेबसाइटों और सेवाओं के लॉगिन और टोकन शामिल हैं।

HTML से Markdown कनवर्टर और क्रॉलर।