scraper

📰 Newspaper4k लोकप्रिय Newspaper3k का एक फ़ॉर्क। समाचार वेबसाइटों से लेख, शीर्षक और मेटाडेटा निष्कर्षण।

Crawly, Elixir के लिए एक उच्च-स्तरीय वेब क्रॉलिंग और स्क्रैपिंग फ्रेमवर्क।

एक साफ, AI-सहायता प्राप्त DSL का उपयोग करके Ruby में वेब स्क्रैपर लिखें। Kimurai यह पता लगाने के लिए AI का उपयोग करता है कि डेटा कहाँ है, फिर सेलेक्टर को कैश करता है और शुद्ध Ruby के साथ स्क्रैप करता है।

+40 लोकप्रिय डोमेन के लिए स्केलेबल Python वेब स्क्रैपिंग स्क्रिप्ट।

अनौपचारिक MyAnimeList PHP+REST API जो आधिकारिक API के अलावा अन्य फ़ंक्शन प्रदान करता है

यूनिवर्सल Reddit स्क्रैपर - एक व्यापक Reddit स्क्रैपिंग/आर्काइवल कमांड-लाइन टूल।

एक एर्गोनोमिक, गोपनीयता-जागरूक Rust HTTP क्लाइंट

कंप्यूटर के भीतर संसाधनों का प्रबंधन करने और गेमफ़ाइड व्यापक प्रबंधक प्रदान करने के लिए एक टूल

Python के लिए Google play scraper, जो <facundoolano/google-play-scraper> से प्रेरित है

Instagram private posts को गुमनाम रूप से देखने के लिए पहला टूल।

Elixir में एक उच्च प्रदर्शन वाला वेब क्रॉलर / स्क्रैपर।

लॉगिन या API की के बिना X/Twitter ट्वीट, उत्तर, टाइमलाइन और लेख प्राप्त करें - AI एजेंटों के लिए फ़ील्ड टूल।

Scrapy स्पाइडर के लिए HTTP API

Kotlin-आधारित एक टेस्टिंग, स्क्रैपिंग और पार्सिंग लाइब्रेरी, जो HTML (सर्वर और क्लाइंट-साइड रेंडर) से डेटा का विश्लेषण और निष्कर्षण करने की सुविधा देती है। यह एक सहज DSL प्रदान करके उपयोग में आसानी और उच्च पठनीयता पर जोर देती है। इसे एक टेस्टिंग लाइब्रेरी के रूप में बनाया गया है, लेकिन इसका उपयोग वेबसाइटों को आसानी से स्क्रैप करने के लिए भी किया जा सकता है।

CSS, XPath 3.0, XQuery 3.0, JSONiq या पैटर्न मैचिंग का उपयोग करके HTML/XML पेजों या JSON-APIs से डेटा डाउनलोड और एक्सट्रैक्ट करने के लिए कमांड लाइन टूल। यह नए या रूपांतरित XML/HTML/JSON दस्तावेज़ भी बना सकता है।

किसी भी वेबसाइट से ZIM फ़ाइल बनाएं और ऑफ़लाइन सर्फ़ करें!

एक सामान्य-उद्देश्य वाला डौजिनशी और इमेज गैलरी डाउनलोडर

कुछ वेबनोवेल्स को epub फॉर्मेट में कन्वर्ट करता है

एक बहुमुखी Ruby वेब स्पाइडरिंग लाइब्रेरी जो किसी साइट, कई डोमेन, विशिष्ट लिंक या अनंत रूप से स्पाइडर कर सकती है। Spidr को तेज़ और उपयोग में आसान बनाने के लिए डिज़ाइन किया गया है।

Chrome और Firefox के लिए Java API

अंतर्राष्ट्रीय प्रतिबंध डेटा, रुचि के व्यक्तियों और राजनीतिक रूप से उजागर व्यक्तियों का एक खुला डेटाबेस

सेल्फ-होस्टेड स्क्रैपिंग इंजन — किसी भी JS चैलेंज और कैप्चा को बायपास करता है: Cloudflare, Turnstile, reCAPTCHA, hCaptcha, GeeTest।

LinkedIn प्रोफाइल स्क्रैपर जो JSON में संरचित प्रोफाइल डेटा लौटाता है।

operative framework एक Rust-आधारित OSINT जांच फ्रेमवर्क है, जिसमें आप कई लक्ष्यों के साथ इंटरैक्ट कर सकते हैं, कई मॉड्यूल निष्पादित कर सकते हैं, लक्ष्य के साथ लिंक बना सकते हैं, रिपोर्ट को PDF फ़ाइल में एक्सपोर्ट कर सकते हैं, लक्ष्य या परिणामों में नोट जोड़ सकते हैं, RESTFul API के साथ इंटरैक्ट कर सकते हैं और अपने स्वयं के मॉड्यूल लिख सकते हैं।

रियल एस्टेट प्रॉपर्टी डेटा को स्क्रैप करने के लिए Python पैकेज

Slash OSINT टूल

Amazon, Aliexpress, ebay और कई अन्य कस्टम स्टोर के लिए एक मल्टी-यूज़र सेल्फ-होस्टेड प्राइस ट्रैकर। जब कीमत उपयोगकर्ता द्वारा निर्धारित एक या अधिक मानदंडों से मेल खाती है, तो सूचित करें।

HTML पेजों से सामग्री स्क्रैप करने के लिए एक Scala लाइब्रेरी

वेब से स्क्रैपर्स की एक सूची

Twitter इंटरनल API डॉक्यूमेंट