crawler

다양한 웹사이트 및 이커머스 데이터 크롤러 실전 예제. 타오바오 상품, 위챗 공식 계정, 따중뎬핑, 치차차, 구직 사이트, 闲鱼, 알리 작업, 博客园, 웨이보, 바이두 바이에, 더우판 영화, Baotu, Panorama, 더우판 음악, 성(省) 약국감독관리국, 소후 뉴스, 머신러닝 텍스트 수집, fofa 자산 수집, 오토홈, 국가통계국, 바이두 키워드 색인 수, 스파이더 범디렉토리, 토우티아오, 더우판 영화 리뷰, 씨트립, 샤오미 앱스토어, 안주커, 투지아 민박 포함.

Scrapy를 위한 Redis 기반 컴포넌트

대응책이 포함된 봇 방어 시스템 분석 🚿. 웹 스크래핑 시 안티 봇 시스템을 우회하고 👻 브라우저 핑거프린팅 스크립트를 피하는 방법 🕵️‍♂️

다크웹 OSINT 도구

중국 웹 크롤러 관련 불법 사례 및 소송 자료 모음. 중국大陆 크롤러 업계 종사자가 관련 법률을 이해하고 데이터 규정 준수의 레드라인을 넘지 않도록 돕습니다.

시나웨이보 크롤러, Python을 사용하여 시나웨이보 데이터를 크롤링하고 웨이보 이미지와 동영상을 다운로드합니다.

chatGPT 기반으로 AI 봇과 대화하고 소통하는 커뮤니티 기반 방식

만화 및 소설 다운로드 도구 (다수의 만화 및 소설 플랫폼 지원, epub 변환 기능 포함)

프록시 [검색기 | 확인기 | 서버]. HTTP(S) 및 SOCKS :performing_arts:

DotnetSpider, .NET 표준 웹 크롤링 라이브러리. 가볍고 효율적이며 빠른 고수준 웹 크롤링 및 스크래핑 프레임워크입니다.

새로운 AI 시대에 인터넷에서 콘텐츠를 추출하고 자신만의 Large Language Model을 구축하기 위한 지능형 프록시 풀

헤드리스 Chrome .NET API

도메인 목록을 받아서 URL을 크롤링하고 엔드포인트, 비밀 정보, API 키, 파일 확장자, 토큰 등을 스캔합니다.

정보 수집, 취약점 스캔 및 크롤링을 위한 올인원 도구. 모든 침투 테스트 담당자를 위한 필수 도구

사용하기 쉽고 강력한 Python 크롤러 프레임워크 feapder

영화 메타데이터 스크레이퍼

모든 웹사이트는 API를 제공합니다.

웹 취약점 스캐너를 위한 강력한 브라우저 크롤러

Gospider - Go로 작성된 빠른 웹 스파이더

올인원 웹 정찰 도구

Google Play에서 데이터를 수집하는 Node.js 스크레이퍼

owllook 소설 검색 엔진

DecryptLogin: requests를 사용하여 일부 웹사이트에 로그인하기 위한 API

https://spatie.be/docs/crawler

Geziyor, Go를 위한 초고속 웹 크롤링 및 스크래핑 프레임워크. JS 렌더링을 지원합니다.

Videodl: 순수 python으로 작성된 경량 비디오 다운로더. (고화질 워터마크 없는 동영상 우선 다운로드 지원, Douyin, Kuaishou, Xiaohongshu, Bilibili, TikTok, YouTube, FIFA+, Youku, Tencent, iQiyi, 1905 Movie Network, Letv, Mango, Migu, PPTV, Sohu, Facebook, Twitter, Sina Weibo, Toutiao, NetEase Open Courses, Quanmin Kge, CCTV, Kugou Music MV, Newfoundland, Zhihu, Baidu Tieba, TED 등 대규모 스트리밍 플랫폼 지원)

프로그레시브 PHP 크롤러 프레임워크입니다.

AI 에이전트와 LLM을 위한 웹 데이터 가져오기

사용하기 쉬운 경량 웹 크롤러

news-please - 문제없이 작동하는 통합 웹 크롤러 및 뉴스 정보 추출기