crawler

GPTs 프롬프트 유출작, 25개 메시지 제한 우회 또는 Plus 구독 없이 GPTs 체험

웹 스크래핑 프레임워크

🕷 CrawlerDetect는 사용자 에이전트를 통해 봇, 크롤러, 스파이더를 탐지하기 위한 PHP 클래스입니다.

속도와 유연성을 위해 제작된 크로스 플랫폼 C# 웹 크롤러 프레임워크. 프로젝트에 스타를 눌러주세요! +1.

웹사이트 클로너 - 강력한 Go 루틴을 활용하여 몇 초 만에 컴퓨터로 웹사이트를 복제합니다.

🏳️‍🌈 Twitter, Reddit, Instagram, BlueSky, TikTok, Threads, Facebook, OnlyFans, YouTube, Pinterest, PornHub, XHamster, XVIDEOS, ThisVid 등을 포함한 모든 사이트의 미디어 다운로더

웹 콘텐츠를 LLM에 적합한 데이터로 변환

란티엔(蓝天) 수집기는 오픈 소스 무료 크롤러 시스템으로, 규칙을 클릭하고 편집하는 것만으로 데이터를 수집할 수 있습니다. 로컬, 웹 호스팅 또는 클라우드 서버에서 실행할 수 있으며 거의 모든 유형의 웹 페이지를 수집하고 다양한 CMS 웹사이트 구축 프로그램과 원활하게 연동하며 로그인 없이 실시간으로 데이터를 게시하고 수동 개입 없이 완전 자동화됩니다. 웹 페이지 빅데이터 수집 소프트웨어 중 완전한 크로스 플랫폼 클라우드 크롤러 시스템입니다.

asyncio 기반의 웹 크롤링 프레임워크

웹 크롤러 예제 모음. 타오바오, 징둥, 티몰, 더우반, 더우인, 콰이쇼우, 웨이보, 위챗, 알리바바, 토우니아오, 핀둬둬, 유쿠, 아이치이, 씨이트립, 12306, 58동청, 소후, 각종 지수, 웨이푸·만팡, Zlibrary, Oalib, 소설, 입찰이트, 조달사이트, 샤오홍슈, 따중뎬핑, 트위터, 마이마이, 지후 등을 포함하나 이에 국한되지 않습니다.

Playwright용 무료 안티디텍트 브라우저 스텔스: 감지되지 않는 헤드리스 Firefox 지문. Python 스크래핑, reCAPTCHA 및 봇 탐지 우회. 오픈 소스

스트리밍 사이트에서 데이터를 추출하기 위한 NewPipe의 코어 라이브러리

브라우저 메모리 덤프 및 탐색 솔루션 (탐색 중...)

토렌트 사이트 U3C3 소개 및 도메인 업데이트

유연한 Node.js AI 지원 크롤러 라이브러리

멀티 플랫폼 콘텐츠 모니터링·수집·배포. 하나의 Web 패널로 Douyin / Xiaohongshu / Kuaishou 관리

Diskover Community Edition - Elasticsearch 기반의 오픈소스 파일 인덱서, 파일 검색 엔진 및 데이터 관리·분석 도구

Google, Naver 멀티프로세스 이미지 웹 크롤러 (Selenium)

Modest 및 Lexbor 엔진용 Python 바인딩. CSS 셀렉터를 지원하는 빠른 Python용 HTML5 파서

Python 크롤러, 현재 목록: 넷이즈 클라우드 뮤직 노래 크롤링, 빌리빌리 동영상 크롤링, 지후 Q&A 크롤링, 배경화면 크롤링, xvideos 동영상 크롤링, 오디오북 크롤링, 웨이보 크롤러, 안주케 정보 크롤링 + 데이터 시각화, 빌리빌리 동영상 커버 추출기, IP 프록시 풀 캡슐화, 지후 백만 단위 사용자 크롤러 + 데이터 분석, GitHub 사용자 크롤러

아카비스트를 위한 웹 크롤러: WARC 출력, 모든 크롤링 대시보드, 동적 무시 패턴

Douyin 크롤러 — 계정 홈페이지만, 좋아요, 즐겨찾기, 오디오 원본, 해시태그, 검색, 컬렉션, 게시물, 팔로잉, 팔로워 등 공개 데이터를 수집합니다.

ScopeSentry - 사이버 공간 매핑, 서브도메인 열거, 포트 스캔, 민감 정보 검색, 취약점 스캔, 분산 노드

단일 HTML 파일에 전체 웹페이지의 충실한 복사본을 저장하기 위한 CLI 도구 (SingleFile 기반)

❤️ Fredy - [F]ind [R]eal [E]state [D]amn Eas[y] - Fredy는 ImmoScout24, Immowelt, eBay Kleinanzeigen 같은 플랫폼에서 독일의 새 아파트, 주택, 빌라를 계속 검색하여 Slack, Telegram, Email, Discord, ntfy를 통해 즉시 결과를 전달하므로 인생에서 더 중요한 일에 집중할 수 있습니다 ;)

Elasticsearch 파일 시스템 크롤러 (FS Crawler)

사용하기 편리하고 프라이버시를 존중하는 Python HTTP 클라이언트

샤오홍슈 데이터 수집, 웹사이트 이미지 및 비디오 리소스 일괄 다운로드 도구, 뛰어난 비주얼의 데이터 수집 도구 (일괄 다운로드, 비디오 추출, 이미지) Telegram:https://t.me/+ZtLSwuIKTo44MDY1

자동화 감지 및 유출을 방지하기 위한 puppeteer 및 playwright 패치 모음. Cloudflare 및 DataDome CAPTCHA 페이지를 우회하는 데 도움을 줍니다. 패치 적용/해제가 쉽고 필요에 따라 활성화/비활성화할 수 있습니다.

웹 프라이버시 측정 프레임워크