crawler

Geleakte GPTs-Prompts zur Umgehung des 25-Nachrichten-Limits oder zum Ausprobieren von GPTs ohne Plus-Abo.

Web-Scraping-Framework

🕷 CrawlerDetect ist eine PHP-Klasse zum Erkennen von Bots/Crawlern/Spidern über den User-Agent

Plattformübergreifendes C#-Web-Crawler-Framework, entwickelt für Geschwindigkeit und Flexibilität. Bitte geben Sie diesem Projekt einen Stern! +1.

Website-Cloner – Nutzt leistungsstarke Go-Routinen, um Websites innerhalb von Sekunden auf Ihren Computer zu klonen.

🏳️‍🌈 Mediadownloader für beliebige Websites, darunter Twitter, Reddit, Instagram, BlueSky, TikTok, Threads, Facebook, OnlyFans, YouTube, Pinterest, PornHub, XHamster, XVIDEOS, ThisVid usw.

Webinhalte in LLM-bereitbare Daten transformieren

Ein Open-Source-Webscraper zum Extrahieren von Daten per Point-and-Click

Web-Crawling-Framework basierend auf asyncio.

Sammlung von Web-Crawler-Beispielen. Einschließlich, aber nicht beschränkt auf Taobao, JD.com, Tmall, Douban, Douyin, Kuaishou, Weibo, WeChat, Alibaba, Toutiao, PDD, Youku, iQiyi, Ctrip, 12306, 58, Sohu, verschiedene Indizes, VIP/Wanfang, ZLibrary, Oalib, Romane, Ausschreibungs- und Beschaffungsportale, Xiaohongshu, Dianping, Twitter, Maimai, Zhihu.

Kostenloser Antidetect-Browser-Stealth für Playwright: unerkannter Headless-Firefox-Fingerprint. Python-Scraping, Umgehung von Recaptcha und Bot-Erkennung. Open Source

Die Kernbibliothek von NewPipe zum Extrahieren von Daten von Streaming-Seiten

Lösung für Browser-Speicher-Roaming (in Erforschung...)

Vorstellung der Torrent-Website U3C3 und Aktualisierung der Domain

Flexibles Node.js AI-gestütztes Crawler-Framework

Plattformübergreifende Inhaltsüberwachung, -erfassung und -übertragung: Ein Web-Dashboard zur Verwaltung von Douyin, Xiaohongshu und Kuaishou.

Diskover Community Edition – Open-Source-Dateiindexer, -dateisuchmaschine sowie Datenmanagement und -analytik basierend auf Elasticsearch.

Multiprozess-Bild-Webcrawler für Google und Naver (Selenium)

Python-Binding für Modest- und Lexbor-Engines. Schneller HTML5-Parser mit CSS-Selektoren für Python.

Python-Crawler, aktuelle Sammlung: Crawlen von NetEase Cloud Music, Bilibili-Videos, Zhihu-Fragen und -Antworten, Hintergrundbildern, Xvideos, Hörbüchern, Weibo, Anjuke-Informationen + Datenvisualisierung, Bilibili-Video-Cover-Extractor, IP-Proxy-Pool-Kapselung, Zhihu-Millionen-User-Crawler + Datenanalyse, GitHub-User-Crawler

Der Webcrawler des Archivars: WARC-Ausgabe, Dashboard für alle Crawls, dynamische Ignorier-Muster.

Douyin-Crawler – Erfassung öffentlicher Daten wie Account-Startseiten, Likes, Favoriten, Originalmusik, Hashtags, Suche, Sammlungen, Beiträge, Abonnements und Follower.

ScopeSentry – Cyberspace-Mapping, Subdomain-Enumeration, Port-Scanning, Suche nach sensiblen Informationen, Schwachstellen-Scanning, verteilte Knoten

CLI-Tool zum Speichern einer originalgetreuen Kopie einer vollständigen Webseite in einer einzigen HTML-Datei (basierend auf SingleFile)

❤️ Fredy - [F]ind [R]eal [E]state [D]amn Eas[y] - Fredy sucht kontinuierlich nach neuen Wohnungen und Häusern in Europa auf Plattformen wie ImmoScout24, Immowelt, eBay Kleinanzeigen und sendet Ihnen die Ergebnisse sofort über Slack, Telegram, E-Mail, Discord oder ntfy, damit Sie sich auf die wichtigeren Dinge im Leben konzentrieren können ;)

Elasticsearch File System Crawler (FS Crawler)

Ein ergonomischer, datenschutzfreundlicher Python-HTTP-Client

Xiaohongshu-Datenerfassung, Batch-Download-Tool für Website-Bilder und Video-Ressourcen, ein optisch ansprechendes Datenerfassungstool (Batch-Download, Video-Extraktion, Bilder) Telegram:https://t.me/+ZtLSwuIKTo44MDY1

Sammlung von Patches für Puppeteer und Playwright zur Vermeidung von Automatisierungserkennung und Leaks. Hilft dabei, Cloudflare- und DataDome-CAPTCHA-Seiten zu umgehen. Einfach zu patchen/entpatchen, bei Bedarf ein- und ausschaltbar.

Ein Web-Privacy-Messframework.