crawl

INFO-SPIDERは、多数のデータソースを集約したクローラーツールボックスです。安全かつ迅速にユーザー自身のデータを取り出すことを目的としており、ツールコードはオープンソースでプロセスは透明です。対応データソースには、GitHub、QQメール、网易邮箱、阿里邮箱、新浪邮箱、Hotmailメール、Outlookメール、京东、淘宝、支付宝、中国移动、中国联通、中国电信、知乎、哔哩哔哩、网易云音乐、QQ好友、QQ群、朋友圈アルバム生成、ブラウザ閲覧履歴、12306、博客园、CSDNブログ、开源中国ブログ、简书などが含まれます。

novel-plusは、多端末（PC、WAP）対応で機能が充実した小説CMSシステムです。小説のおすすめ、検索、ランキング、閲覧、ブックマーク、レビュー、クローラー、会員センター、作家専用エリア、課金・購読、ニュース配信などの機能が含まれます。

AnyCrawl 🚀: Web サイトを LLM 向けのデータに変換し、Google/Bing/Baidu などから構造化された SERP 結果を抽出する Node.js/TypeScript クローラー。一括処理用のネイティブマルチスレッドを搭載。

小紅書（RED）の Web 版リクエストをカプセル化。https://reajason.github.io/xhs/

柔軟な Node.js 製 AI 支援型クローラーライブラリ

アーキビスト向けのウェブクローラー：WARC出力、全クロールのダッシュボード、動的な除外パターン

閲覧した素晴らしいリバースエンジニアリング関連記事のまとめ、必見です

Tavily Python SDKを使用すると、Tavily APIと簡単に連携でき、Pythonプログラムから直接、検索、抽出、クロール、マッピング、リサーチ機能の全範囲を利用できます。Tavilyの強力な機能を活用して、スマート検索、コンテンツ抽出、リサーチ機能をアプリケーションに簡単に統合できます。

JSのリバースエンジニアリングと難読化解除。Geetestスライダーw、QQ音楽sign、Pinduoduo anti_content、BOSS直聘zp_token、知乎x-zse-96、酷狗kg_mid/dfid、唯品会mars_cid、中国裁判文書網、淘宝パスワード、天安保険ログイン、BiliBiliログイン、房天下ログイン、WPSログイン、Weiboログイン、有道翻訳、NetEaseログイン、WeChat公式アカウントログイン、空中網ログイン、今目標ログイン、学生情報管理システムログイン、共贏金融ログイン、重慶科技資源共有プラットフォームログイン、NetEase Cloud Musicダウンロード、動画リンクのワンクリック解析、財聯社ログインなどの暗号化パラメータを解読。

HTML から Markdown へのコンバーターおよびクローラー。