crawler

읽어볼 가치가 있는 훌륭한 리버스 엔지니어링 아티클 모음

🤖 예시만 제공하면 HTML 웹사이트에서 자동으로 데이터를 스크래핑합니다

K哥 크롤러 코드 공유, JS 리버스 엔지니어링, 크롤러 심화. 공식 계정 팔로우: K哥爬虫

페이지에서 구조화된 데이터를 추출하는 우아한 DSL을 갖춘 경량 Ruby 웹 크롤러/스크레이퍼.

최고의 크로스 사이트 요청 위조(CSRF) 감사 및 익스플로잇 툴킷입니다.

📝 Instagram 프로필 정보(팔로워, 태그 등)를 빠르게 크롤링합니다.

Go로 작성된 가장 빠른 도크(dork) 스캐너입니다.

Chrome CDP 프로토콜을 기반으로 실제 로그인 상태를 재사용하여 폰트 안티 크롤링을 우회하고, 급여 정보를 JSON/CSV로 출력하며 급여 및 기술 분석을 제공하는 BOSS Zhipin 채용 정보 스크레이퍼입니다.

Beanbun은 Workerman을 기반으로 하며, 우수한 개방성과 높은 확장성을 갖춘 PHP로 작성된 다중 프로세스 웹 크롤러 프레임워크입니다.

그래픽 인터페이스를 갖추고 키워드 검색, QR 코드 로그인, 미잠금 에피소드 다운로드, 멀티스레드 다운로드, 다양한 저장 형식, 로컬 만화 관리 및 원클릭 업데이트 확인을 지원하는 사용하기 편리한 빌리빌리 만화 다운로더

Appium 기반의 앱 자동 탐색 도구

Tumblr 블로그의 모든 사진과 동영상을 손쉽게 다운로드하세요.

📰 널리 사랑받는 Newspaper3k의 포크 버전 Newspaper4k. 뉴스 웹사이트에서 기사, 제목, 메타데이터를 추출합니다.

OpenSearch 기반의 오픈소스 자체 호스팅 엔터프라이즈 및 사이트 검색 서버입니다. 웹, 파일, DB, 클라우드 소스 크롤링, 20개 이상의 언어 지원, REST API, AI/RAG 및 시맨틱 검색을 제공하며 Apache-2.0 라이선스를 따릅니다.

단일 Docker 컨테이너에서 고충실도 브라우저 기반 웹 아카이빙 크롤러 실행

Crawly, Elixir를 위한 고수준 웹 크롤링 및 스크래핑 프레임워크입니다.

깔끔하고 AI가 지원되는 DSL을 사용하여 Ruby로 웹 스크레이퍼를 작성하세요. Kimurai는 AI를 사용하여 데이터의 위치를 파악한 다음 셀렉터를 캐시하고 순수 Ruby로 스크래핑합니다. 요청별 지연 시간이나 토큰 비용 없이 LLM의 지능을 활용하세요.

40개 이상의 인기 도메인을 위한 확장 가능한 Python 웹 스크래핑 스크립트

Golang 숏폼 동영상 워터마크 제거: 抖音, 皮皮虾, 火山, 微视, 最右, 快手, 全民小视频, 皮皮搞笑, 西瓜视频, 虎牙, 梨视频, acfun, 好看视频 등

소설 다운로드 | 소설 크롤링 | 치디엔 | 비취거 | Markdown 내보내기 | txt 내보내기 | epub 변환 | 광고 차단 | 자동 교정

인체공학적이고 프라이버시를 고려한 Rust HTTP 클라이언트

facundoolano/google-play-scraper에서 영감을 받은 Python용 Google Play 스크레이퍼

pixiv.net을 위한 도구. 누구나 사용할 수 있는 Pixiv 크롤러

Apache Storm 기반의 확장 가능하고 성숙하며 다기능인 웹 크롤러

SpiderSuite(웹 보안 크롤러) 릴리스, 위키 및 로드맵

Elixir로 작성된 고성능 웹 크롤러 / 스크레이퍼

Rust로 작성된 빠르고 가벼운 Firecrawl/Tavily 대안. AI 에이전트를 위한 MCP 서버를 포함한 웹 스크레이퍼, 크롤러 및 검색 API. Firecrawl 호환 API 제공, 1K-URL 벤치마크 기준 Tavily 대비 2.3배, Firecrawl 대비 1.5배 빠름. 6MB RAM 점유, 단일 바이너리. 자체 호스팅 또는 관리형 클라우드 사용 가능

VibeLoft 트위터 계정 데이터셋이 포함된 X.com용 순수 Python 프로토콜 도구 및 연구 노트

다양한 내장 이미지 크롤러를 제공하는 멀티스레드 크롤러 프레임워크

ChatWeb은 웹페이지를 크롤링하고, PDF, DOCX, TXT를 읽어 주요 콘텐츠를 추출한 뒤, 해당 콘텐츠를 바탕으로 질문에 답하거나 핵심 포인트를 요약할 수 있습니다.