spider

Elixir로 작성된 고성능 웹 크롤러 / 스크레이퍼

다양한 내장 이미지 크롤러를 제공하는 멀티스레드 크롤러 프레임워크

웹 크롤러 리버스 엔지니어링 사례 모음: TLS 지문, 瑞数, 震坤行, 网易易盾, 위챗 미니 프로그램 역컴파일, 동화순, RPC 복호화, 加速乐, 지능형 슬라이드 인증, 巨量算数, Boss 직업, 企查查, 중국오광, QQ뮤직, 산업 정책 빅데이터 플랫폼, 企知道, 설구망(acw_sc__v2), 1688, 七麦数据, whggzy, 企名科技, mohurd, 艺恩数据, 欧科云链

Spring Boot 기반의 Java 주식 크롤러 (A주 전용)

사이트, 여러 도메인, 특정 링크 크롤링 또는 무한 크롤링이 가능한 다목적 Ruby 웹 스파이더링 라이브러리. Spidr은 빠르고 사용하기 쉽도록 설계되었습니다.

인터넷에 게시된 위치 정보를 추출하기 위한 스파이더 및 스크레이퍼 세트

중국 국립도서관 ISBN 검색을 지원하는 calibre용 소스/메타데이터 플러그인

모의 해킹 프레임워크, 정보 수집 도구 및 웹사이트 취약점 스캐너

LinkedIn 프로필을 스크래핑하여 구조화된 JSON 데이터로 반환하는 도구

경량 웹 크롤러 프레임워크

ChatGPT가 Hacker News를 요약해 주는 서비스

Signal 18 repman - MySQL / MariaDB / Percona Server용 복제 관리자

라이트노벨 패키커, bilinovel.com 및 linovelib.com의 콘텐츠를 수집하여 표지, 삽화, 목차를 지원하고 볼륨 병합이 가능한 EPUB 형식으로 패키징합니다.

Python 기반 숏폼 영상 워터마크 제거 크롤러: Douyin, Pipixia, Huoshan, Weishi, Zuiyou, Kuaishou, Quanmin, Pipigaoxiao, Xigua, Huya, Pear Video, Acfun, Haokan 등 지원

엔터프라이즈급 여론 뉴스 크롤러 프로젝트: 다수의 크롤러 일괄 실행, 예약 작업, 일괄 삭제, 원클릭 배포 및 모니터링 시각화 지원

영상 및 Cat影视 크롤러 저장소

앱 파라미터 리버스 엔지니어링 아이디어 및 경험, 안드로이드 리버스 엔지니어링

Krawl은 사용자 정의가 가능한 경량 클라우드 네이티브 웹 기만 서버 및 안티 크롤러입니다. 현실적이고 무작위로 생성된 미끼 데이터와 AI 생성 HTML 템플릿을 사용하여 취약점이 있는 가짜 웹 애플리케이션을 생성합니다.

NetDiscovery는 Vert.x, RxJava 2 등의 프레임워크를 기반으로 구현된 범용 크롤러 프레임워크 및 미들웨어

설문조사 프로젝트, 클라우드 서버 추천, 자동화 프로젝트, 무료 프록시 및 각종 스크립트 모음

Scrapy 및 Scrapyd 프로젝트 모니터링과 크롤러 작업 스케줄링을 위한 시각적 관리 도구 (SpiderAdmin 업그레이드 버전)

LinkedIn API를 통해 회사 직원 정보를 덤프/스크래핑/추출하는 Python 3 스크립트

Node.js를 위한 신뢰할 수 있는 고수준 웹 크롤링 및 스크래핑 프레임워크

FreeProxy: 인터넷에서 무료 프록시를 수집합니다. 수십 개의 무료 프록시 공유 소스 크롤링, 사용자 정의 규칙을 통한 프록시 필터링을 지원하며 크롤러 및 데이터 분석에 필수적인 대량의 무료 프록시를 매일 업데이트합니다.

🎯 Bilibili 댓글 데이터 시각화 분석 소프트웨어 - 업로더가 콘텐츠 주제 선정 및 팬층 분석을 위해 활용 가능