scraper

📰 널리 사랑받는 Newspaper3k의 포크 버전 Newspaper4k. 뉴스 웹사이트에서 기사, 제목, 메타데이터를 추출합니다.

Crawly, Elixir를 위한 고수준 웹 크롤링 및 스크래핑 프레임워크입니다.

깔끔하고 AI가 지원되는 DSL을 사용하여 Ruby로 웹 스크레이퍼를 작성하세요. Kimurai는 AI를 사용하여 데이터의 위치를 파악한 다음 셀렉터를 캐시하고 순수 Ruby로 스크래핑합니다. 요청별 지연 시간이나 토큰 비용 없이 LLM의 지능을 활용하세요.

40개 이상의 인기 도메인을 위한 확장 가능한 Python 웹 스크래핑 스크립트

공식 API 외의 기능을 제공하는 비공식 MyAnimeList PHP+REST API

Universal Reddit Scraper - 포괄적인 Reddit 스크래핑 및 아카이빙 명령줄 도구

컴퓨터 내 리소스를 관리하고 게이미피케이션을 제공하는 종합 관리기

인체공학적이고 프라이버시를 고려한 Rust HTTP 클라이언트

facundoolano/google-play-scraper에서 영감을 받은 Python용 Google Play 스크레이퍼

"인스타그램 비공개 게시물"을 익명으로 볼 수 있는 최초의 도구

Elixir로 작성된 고성능 웹 크롤러 / 스크레이퍼

로그인이나 API 키 없이 X/Twitter 트윗, 답글, 타임라인, 아티클을 가져오는 AI 에이전트용 필드 도구

Scrapy 스파이더를 위한 HTTP API

HTML(서버 및 클라이언트 측 렌더링)에서 데이터를 분석하고 추출할 수 있는 기능을 제공하는 Kotlin 기반 테스트/스크래핑/파싱 라이브러리입니다. 직관적인 DSL을 제공하여 사용 편의성과 높은 가독성에 중점을 둡니다. 테스트 라이브러리를 지향하지만, 편리한 방식으로 웹사이트를 스크래핑하는 데도 사용할 수 있습니다.

CSS, XPath 3.0, XQuery 3.0, JSONiq 또는 패턴 매칭을 사용하여 HTML/XML 페이지나 JSON-API에서 데이터를 다운로드하고 추출하는 명령줄 도구입니다. 새로운 XML/HTML/JSON 문서를 생성하거나 변환할 수도 있습니다.

웹사이트를 ZIM 파일로 변환하여 오프라인에서 탐색

범용 동인지 및 이미지 갤러리 다운로더

웹소설을 epub 형식으로 변환

사이트, 여러 도메인, 특정 링크 크롤링 또는 무한 크롤링이 가능한 다목적 Ruby 웹 스파이더링 라이브러리. Spidr은 빠르고 사용하기 쉽도록 설계되었습니다.

Chrome 및 Firefox용 Java API

국제 제재 데이터, 관심 인물 및 정치적 주요 인물(PEP) 오픈 데이터베이스

셀프 호스팅 스크래핑 엔진 — Cloudflare, Turnstile, reCAPTCHA, hCaptcha, GeeTest 등 모든 JS 챌린지 및 캡차 우회. FlareSolverr 및 Byparr의 대안이자 *arr 스택의 드롭인 대체품.

LinkedIn 프로필을 스크래핑하여 구조화된 JSON 데이터로 반환하는 도구

Rust 기반의 OSINT 프레임워크로, 다수의 타겟과 상호작용하고, 여러 모듈을 실행하며, 타겟과의 링크 생성, PDF 보고서 내보내기, 메모 추가, RESTful API 상호작용 및 자체 모듈 작성이 가능합니다.

부동산 매물 데이터를 수집(스크래핑)하기 위한 Python 패키지

Amazon, Aliexpress, ebay 및 기타 맞춤형 스토어를 지원하는 다중 사용자 셀프 호스팅 가격 추적기. 사용자가 설정한 조건에 가격이 일치하면 알림을 제공

Slash OSINT 도구

HTML 페이지에서 콘텐츠를 스크래핑하기 위한 Scala 라이브러리

웹 전반의 스크레이퍼 목록

Twitter 내부 API 문서