crawler

देखे गए बेहतरीन रिवर्स-इंजीनियरिंग लेखों का संग्रह, जो देखने लायक हैं

🤖 केवल उदाहरण प्रदान करके HTML वेबसाइटों से स्वचालित रूप से डेटा स्क्रैप करें

K-Ge क्रॉलर कोड शेयरिंग, JS रिवर्स, क्रॉलर एडवांस। आधिकारिक अकाउंट फॉलो करें: K-Ge क्रॉलर

पेजों से संरचित डेटा निकालने के लिए एक सुंदर DSL के साथ हल्का Ruby वेब क्रॉलर/स्क्रेपर।

प्रमुख क्रॉस साइट रिक्वेस्ट फोर्जिंग (CSRF) ऑडिट और एक्सप्लॉइट टूलकिट।

Go में लिखा गया सबसे तेज़ डॉर्क स्कैनर।

📝 किसी instagram प्रोफाइल की जानकारी (जैसे फॉलोअर्स, टैग आदि) को जल्दी से क्रॉल करें।

बॉस ज़िपिन जॉब स्क्रैपर/क्रॉलर - क्रोम सीडीपी प्रोटोकॉल पर आधारित जो वास्तविक लॉगिन स्थिति का पुन: उपयोग करता है, फ़ॉन्ट एंटी-क्रॉल को बायपास करता है, और सादा पाठ वेतन JSON/CSV + वेतन कौशल विश्लेषण आउटपुट करता है।

Beanbun PHP में लिखा गया एक मल्टी-प्रोसेस वेब क्रॉलर फ्रेमवर्क है, जिसमें अच्छा खुलापन और उच्च स्केलेबिलिटी है, जो Workerman पर आधारित है।

एक उपयोग में आसान Bilibili कॉमिक्स डाउनलोडर, जिसमें GUI, कीवर्ड सर्च, QR कोड लॉगिन, अनलॉक्ड चैप्टर्स डाउनलोड, मल्टी-थ्रेडेड डाउनलोड, कई सेव फॉर्मेट, लोकल कॉमिक्स मैनेजमेंट और वन-क्लिक अपडेट चेक की सुविधा है।

Appium पर आधारित ऐप स्वचालित ट्रैवर्सल टूल

Tumblr ब्लॉग से सभी फ़ोटो/वीडियो आसानी से डाउनलोड करें।

📰 Newspaper4k लोकप्रिय Newspaper3k का एक फ़ॉर्क। समाचार वेबसाइटों से लेख, शीर्षक और मेटाडेटा निष्कर्षण।

OpenSearch पर बना ओपन-सोर्स, सेल्फ-होस्टेड एंटरप्राइज और साइट सर्च सर्वर। वेब / फाइल / DB / क्लाउड सोर्सेज, 20+ भाषाओं, REST API, और AI/RAG व सिमेंटिक सर्च को क्रॉल करता है। Apache-2.0।

एक सिंगल Docker कंटेनर में उच्च-निष्ठा ब्राउज़र-आधारित वेब आर्काइविंग क्रॉलर चलाएं

Crawly, Elixir के लिए एक उच्च-स्तरीय वेब क्रॉलिंग और स्क्रैपिंग फ्रेमवर्क।

एक साफ, AI-सहायता प्राप्त DSL का उपयोग करके Ruby में वेब स्क्रैपर लिखें। Kimurai यह पता लगाने के लिए AI का उपयोग करता है कि डेटा कहाँ है, फिर सेलेक्टर को कैश करता है और शुद्ध Ruby के साथ स्क्रैप करता है।

+40 लोकप्रिय डोमेन के लिए स्केलेबल Python वेब स्क्रैपिंग स्क्रिप्ट।

Golang शॉर्ट वीडियो वॉटरमार्क हटाने वाला टूल: Douyin, Pipixia, Huoshan, Weishi, Zuiyou, Kuaishou, Quanmin Xiaoshipin, Pipigaoxiao, Xigua Video, Huya, Pear Video, AcFun, Haokan Video...

एक एर्गोनोमिक, गोपनीयता-जागरूक Rust HTTP क्लाइंट

उपन्यास डाउनलोड | उपन्यास स्क्रैपिंग | Qidian | Biquge | Markdown निर्यात | txt निर्यात | epub रूपांतरण | विज्ञापन फ़िल्टरिंग | स्वचालित प्रूफरीडिंग

Python के लिए Google play scraper, जो <facundoolano/google-play-scraper> से प्रेरित है

pixiv.net के लिए एक टूल। सभी के लिए उपलब्ध P-site क्रॉलर

Apache Storm पर आधारित एक स्केलेबल, परिपक्व और बहुमुखी वेब क्रॉलर।

SpiderSuite (web security crawler) रिलीज़, विकी और रोडमैप

Rust में बना तेज़ और हल्का Firecrawl/Tavily विकल्प। AI एजेंटों के लिए MCP सर्वर के साथ वेब स्क्रैपर, क्रॉलर और सर्च API। Firecrawl-संगत API (/scrape, /crawl, /search)। 1K-URL बेंचमार्क में Tavily से 2.3 गुना तेज़ और Firecrawl से 1.5 गुना तेज़। 6 MB RAM, सिंगल बाइनरी। सेल्फ-होस्ट करें या मैनेज्ड क्लाउड का उपयोग करें।

Elixir में एक उच्च प्रदर्शन वाला वेब क्रॉलर / स्क्रैपर।

X.com के लिए प्योर-पायथन प्रोटोकॉल टूल्स और रिसर्च नोट्स, साथ ही VibeLoft ट्विटर अकाउंट डेटासेट

कई इनबिल्ट इमेज क्रॉलर्स के साथ एक मल्टी-थ्रेड क्रॉलर फ्रेमवर्क।

ChatWeb वेब पेजों को क्रॉल कर सकता है, PDF, DOCX, TXT पढ़ सकता है, और मुख्य सामग्री निकाल सकता है, फिर सामग्री के आधार पर आपके सवालों के जवाब दे सकता है, या मुख्य बिंदुओं का सारांश दे सकता है।