crawler

웹 크롤러 리버스 엔지니어링 사례 모음: TLS 지문, 瑞数, 震坤行, 网易易盾, 위챗 미니 프로그램 역컴파일, 동화순, RPC 복호화, 加速乐, 지능형 슬라이드 인증, 巨量算数, Boss 직업, 企查查, 중국오광, QQ뮤직, 산업 정책 빅데이터 플랫폼, 企知道, 설구망(acw_sc__v2), 1688, 七麦数据, whggzy, 企名科技, mohurd, 艺恩数据, 欧科云链

SiteOne Crawler는 SEO, 보안, 접근성 및 성능 최적화를 위한 크로스플랫폼 웹사이트 크롤러이자 분석기로, 개발자, DevOps, QA 엔지니어 및 컨설턴트에게 이상적입니다. Windows, macOS, Linux(x64 및 arm64)를 지원합니다.

Scrapy 스파이더를 위한 HTTP API

고성능 비동기 Douyin(틱톡), Xiaohongshu(샤오홍슈), Kuaishou(콰이쇼우), Weibo(웨이보), Instagram, YouTube, Twitter(X), 캡차 해결사, 임시 메일 API

HTML(서버 및 클라이언트 측 렌더링)에서 데이터를 분석하고 추출할 수 있는 기능을 제공하는 Kotlin 기반 테스트/스크래핑/파싱 라이브러리입니다. 직관적인 DSL을 제공하여 사용 편의성과 높은 가독성에 중점을 둡니다. 테스트 라이브러리를 지향하지만, 편리한 방식으로 웹사이트를 스크래핑하는 데도 사용할 수 있습니다.

ArrowDL(Arrow Downloader)은 Windows, MacOS 및 Linux용 다운로드 관리자입니다.

사이트, 여러 도메인, 특정 링크 크롤링 또는 무한 크롤링이 가능한 다목적 Ruby 웹 스파이더링 라이브러리. Spidr은 빠르고 사용하기 쉽도록 설계되었습니다.

ai reverse 일괄 처리 도구

간단하지만 유용한 Python 웹 스크래핑 튜토리얼 코드

Chrome 및 Firefox용 Java API

동인지 다운로더(绅士漫画下载)

JS 쿠키 리버싱 도구: JS 쿠키 변경 모니터링 시각화 도구 및 JS 쿠키 후크 조건부 중단점 설정

오픈 소스 SEO 감사 도구

LinkedIn 프로필을 스크래핑하여 구조화된 JSON 데이터로 반환하는 도구

웹 크롤링 리버스 엔지니어링 실전 도서 코드 저장소

경량 웹 크롤러 프레임워크

The Big Brother V6.0은 사용자 이름 열거(473개 이상의 플랫폼), 쿼드 벡터 시각적 인텔리전스, Sky Radar 추적, 암호화폐 지갑 분석, SSL 인텔리전스, 디지털 발자국 재구성, EXIF 추출, 고급 도킹 및 네트워크 정찰 기능을 갖춘 무기화된 OSINT 플랫폼입니다.

ChatGPT가 Hacker News를 요약해 주는 서비스

Tumblr 및 Twitter 블로그 백업 애플리케이션

최고의 PTT 라이브러리

Wscan은 웹 보안에 중점을 둔 웹 보안 스캐너로, 누구나 쉽게 웹 보안을 이용할 수 있도록 설계됨

파이썬을 사용하여 구글, 빙, 야후 및 기타 검색 엔진 검색

LLM 사전 학습을 위한 효율적인 웹 크롤링 도구 Craw4LLM 공식 저장소

NetDiscovery는 Vert.x, RxJava 2 등의 프레임워크를 기반으로 구현된 범용 크롤러 프레임워크 및 미들웨어

Krawl은 사용자 정의가 가능한 경량 클라우드 네이티브 웹 기만 서버 및 안티 크롤러입니다. 현실적이고 무작위로 생성된 미끼 데이터와 AI 생성 HTML 템플릿을 사용하여 취약점이 있는 가짜 웹 애플리케이션을 생성합니다.

웹페이지를 이미지, CSS, JS 및 링크를 포함하여 로컬 하드 디스크에 그대로 저장합니다.

Moodle-DL: Moodle에서 강의 콘텐츠(예: 강의 PDF)를 빠르게 다운로드하는 도구

웹 애플리케이션을 위해 정교하게 설계된 종합 보안 평가 및 익스플로잇 도구입니다. 취약점 스캔, 정보 수집, 익스플로잇 기능을 포함하여 보안 전문가와 모의 해킹 테스터를 위한 필수 도구 세트를 제공합니다.

Node.js를 위한 신뢰할 수 있는 고수준 웹 크롤링 및 스크래핑 프레임워크

AI를 위한 오픈소스 웹 인프라. 웹 스크래핑, 크롤링, 자동화, 마크다운 정리 및 브라우저 세션 기능을 제공하여 에이전트 구축 지원