scraper

대규모 웹 검색, 스크래핑, 상호작용을 위한 컨텍스트 API. 🔥

모니터링하고 대신 행동하는 에이전트를 만드세요. 에이전트가 대기 중입니다!

시각적 노코드/코드프리 웹 크롤러/스파이더. 무코드 그래픽 방식으로 크롤러 작업을 설계하고 실행할 수 있는 브라우저 자동화 테스트/데이터 수집/웹 크롤러 소프트웨어입니다.

Go로 작성된 빠르고 간편한 동영상 다운로드 라이브러리 및 CLI 도구

HTML 및 XML 파싱과 조작을 위한 빠르고 유연하며 우아한 라이브러리

안정적인 크롤러를 구축하기 위한 Node.js용 웹 스크래핑 및 브라우저 자동화 라이브러리인 Crawlee. JavaScript 및 TypeScript 지원. AI, LLM, RAG 또는 GPT용 데이터를 추출합니다. 웹사이트에서 HTML, PDF, JPG, PNG 및 기타 파일을 다운로드하세요. Puppeteer, Playwright, Cheerio, JSDOM 및 원시 HTTP와 함께 작동합니다. 헤드풀 및 헤드리스 모드 모두 지원. 프록시 로테이션 기능 포함.

Golang을 위한 우아한 스크래퍼 및 크롤러 프레임워크

🚀「Douyin_TikTok_Download_API」는 즉시 사용 가능한 고성능 비동기 Douyin, Kuaishou, TikTok, Bilibili 데이터 크롤링 도구로, API 호출, 온라인 일괄 파싱 및 다운로드를 지원합니다.

🔥 웹 스크래핑, 크롤링, 검색 및 AI 데이터 추출을 위한 오픈소스 노코드 플랫폼 • 몇 분 만에 웹사이트를 구조화된 API로 변환 🔥

newspaper3k는 Python 3에서 뉴스, 전문(full-text), 기사 메타데이터를 추출하는 도구입니다. 상세 문서:

AV 영화 관리 시스템, avmoo, javbus, javlibrary 크롤러, 온라인 AV 동영상 라이브러리, AV 마그넷 링크 데이터베이스

안정적인 크롤러를 구축하기 위한 Python용 웹 스크래핑 및 브라우저 자동화 라이브러리 Crawlee. AI, LLM, RAG 또는 GPT용 데이터를 추출하세요. 웹사이트에서 HTML, PDF, JPG, PNG 및 기타 파일을 다운로드하세요. Parsel, BeautifulSoup, Playwright 및 원시 HTTP와 호환됩니다. 헤드풀 및 헤드리스 모드를 모두 지원하며 프록시 로테이션 기능을 제공합니다.

Python을 위한 스마트하고 자동화된 빠르고 가벼운 웹 스크래퍼

다양한 언어로 작성된 훌륭한 웹 크롤러 및 스파이더 모음입니다.

웹 자동화 및 스크래핑을 위한 Chrome DevTools Protocol 드라이버입니다.

LLM을 사용하여 모든 웹페이지를 구조화된 데이터로 변환

💡 Node.js를 사용하여 모든 웹사이트의 전체 소스 코드(모든 에셋 포함) 다운로드 [ Javascripts, Stylesheets, Images ]

대응책이 포함된 봇 방어 시스템 분석 🚿. 웹 스크래핑 시 안티 봇 시스템을 우회하고 👻 브라우저 핑거프린팅 스크립트를 피하는 방법 🕵️‍♂️

해커들을 위해 온라인 자산에서 데이터를 스크래핑하고 추출하는 스위스 군대 칼 같은 도구입니다.

자바스크립트로 구현된 YouTube 비디오 다운로더

Twitter API 스크래퍼 | API 키 없음 | Twitter 내부 API | 무료 | Twitter 스크래퍼 | Twitter 봇

Linkedin 사용자 데이터를 수집하는 라이브러리

chatGPT 기반으로 AI 봇과 대화하고 소통하는 커뮤니티 기반 방식

OnlyFans 계정의 모든 미디어를 스크랩합니다 - 정기적으로 업데이트됨

🔮 인간을 위한 Node.js 스크레이퍼.

Emby/Jellyfin용 일본 영화 메타데이터 스크레이퍼 플러그인으로, 특정 웹사이트에서 영상 정보를 수집합니다.

도메인 목록을 받아서 URL을 크롤링하고 엔드포인트, 비밀 정보, API 키, 파일 확장자, 토큰 등을 스캔합니다.

영화 메타데이터 스크레이퍼

무료로 새로운 것을 배우고 싶으신가요? 웹 스크래핑과 자동화 기능을 통해 이 스크립트가 유용한 Udemy 쿠폰을 찾아 유료 Udemy 강좌를 완전 무료로 수강 신청해 줍니다!

LLM 기반의 강력한 웹 스크래퍼 | OpenAI, Gemini 및 Ollama