🕷️
Decodo Scraper
크롤러 브라우저 및 자동화설치 명령어
npx clawhub@latest install decodo
설치 안내
1
환경 확인
Node.js 22 이상과 OpenClaw가 설치되어 있는지 확인하세요. 터미널에서 openclaw --version을 실행하여 확인할 수 있습니다.
2
설치 실행
위의 설치 명령어를 터미널에서 실행하세요. ClawHub가 자동으로 Decodo Scraper을(를) ~/.openclaw/skills/ 디렉토리에 다운로드하고 설치합니다.
3
설치 확인
openclaw skills list를 실행하여 설치된 스킬 목록을 확인하고, Decodo Scraper이(가) 목록에 표시되는지 확인하세요.
4
매개변수 설정 (선택사항)
아래 소개의 설정 안내에 따라 ~/.config/openclaw/openclaw.json5에 스킬 설정 항목을 추가하세요.
수동 설치 방법: Skill 폴더를
~/.openclaw/skills/ 또는 프로젝트의 skills/ 디렉토리에 복사하세요. 폴더에 SKILL.md 파일이 포함되어 있어야 합니다.
안티 크롤링 우회
IP 로테이션
구조화 추출
상세 소개
Decodo Scraper는 엔터프라이즈급 웹 콘텐츠 크롤링 스킬로, Decodo Web Scraping API를 통해 높은 신뢰성의 데이터 수집을 구현합니다.
핵심 기능
- 지능형 크롤링: JavaScript 렌더링, CAPTCHA, Cloudflare 보호를 자동 처리
- IP 로테이션: 글로벌 프록시 풀을 사용하여 IP를 자동 로테이션하여 차단 방지
- 구조화 추출: 웹 콘텐츠를 구조화된 데이터(JSON, CSV)로 변환
- 일괄 수집: 배치 URL 목록의 병렬 크롤링 지원
- 캐시 관리: 이미 크롤링된 콘텐츠를 지능적으로 캐시하여 중복 요청 감소
설정 방법
{
skills: {
decodo: {
apiKey: "xxx",
outputFormat: "markdown",
javascript: true,
proxy: "residential"
}
}
}
사용 시나리오
- 복잡한 안티 크롤링 보호를 우회해야 하는 웹사이트 데이터 수집
- 이커머스 가격 모니터링 및 경쟁사 분석
- 검색 결과 페이지 콘텐츠 일괄 수집
- 뉴스 웹사이트 콘텐츠 어그리게이션 및 아카이빙