crawl

INFO-SPIDER는 수많은 데이터 소스를 통합한 크롤러 도구 상자🧰로, 사용자가 안전하고 빠르게 자신의 데이터를 되찾을 수 있도록 돕는 것을 목표로 하며, 도구 코드는 오픈 소스이고 프로세스는 투명합니다. 지원되는 데이터 소스에는 GitHub, QQ 메일, 163 메일, Ali 메일, Sina 메일, Hotmail, Outlook, 징둥닷컴(JD), 타오바오, 알리페이, 차이나모바일, 차이나유니콤, 차이나텔레콤, 지후, 빌리빌리, 넷이즈 클라우드 뮤직, QQ 친구, QQ 그룹, 모멘트 앨범 생성, 브라우저 방문 기록, 12306, 블로그园, CSDN 블로그, 오프소스차이나 블로그, 졘수 등이 포함됩니다.

PC와 WAP을 지원하는 기능이 완벽한 멀티 플랫폼 소설 CMS 시스템으로, 소설 추천, 검색, 랭킹, 독서, 책장, 댓글, 크롤러, 회원 센터, 작가 구역, 충전 구독, 뉴스 발행 등의 기능을 포함합니다.

AnyCrawl 🚀: 웹사이트를 LLM 준비 데이터로 변환하고 Google/Bing/Baidu 등에서 구조화된 SERP 결과를 추출하는 Node.js/TypeScript 크롤러. 대량 처리를 위한 네이티브 멀티스레딩 지원.

샤오훙슈(小红书) Web 버전을 기반으로 한 요청 캡슐화. https://reajason.github.io/xhs/

유연한 Node.js AI 지원 크롤러 라이브러리

아카비스트를 위한 웹 크롤러: WARC 출력, 모든 크롤링 대시보드, 동적 무시 패턴

읽어볼 가치가 있는 훌륭한 리버스 엔지니어링 아티클 모음

Tavily Python SDK를 사용하면 Python 프로그램에서 직접 Tavily API와 쉽게 상호 작용할 수 있으며, 검색, 추출, 크롤링, 맵 및 리서치 기능의 전체 범위를 제공합니다. Tavily의 강력한 기능을 활용하여 스마트 검색, 콘텐츠 추출, 리서치 기능을 애플리케이션에 쉽게 통합하세요.

JS 크래킹 및 리버스 엔지니어링, JS 안티 크롤링 암호화 매개변수 해제 (Geetest 슬라이더 w, QQ 음악 sign, Pinduoduo anti_content 등 포함)

HTML을 Markdown으로 변환하는 변환기 및 크롤러