👻
GhostFetch
크롤링 브라우저 및 자동화설치 명령어
npx clawhub@latest install ghostfetch
설치 안내
1
환경 확인
Node.js 22 이상과 OpenClaw가 설치되어 있는지 확인하세요. 터미널에서 openclaw --version을 실행하여 확인할 수 있습니다.
2
설치 실행
위의 설치 명령어를 터미널에서 실행하세요. ClawHub가 자동으로 GhostFetch을(를) ~/.openclaw/skills/ 디렉토리에 다운로드하고 설치합니다.
3
설치 확인
openclaw skills list를 실행하여 설치된 스킬 목록을 확인하고, GhostFetch이(가) 목록에 표시되는지 확인하세요.
4
매개변수 설정 (선택사항)
아래 소개의 설정 안내에 따라 ~/.config/openclaw/openclaw.json5에 스킬 설정 항목을 추가하세요.
수동 설치 방법: Skill 폴더를
~/.openclaw/skills/ 또는 프로젝트의 skills/ 디렉토리에 복사하세요. 폴더에 SKILL.md 파일이 포함되어 있어야 합니다.
경량 크롤링
Markdown 출력
일괄 처리
상세 소개
GhostFetch는 경량 웹 콘텐츠 추출 스킬로, 완전한 브라우저 자동화보다 빠르고 리소스를 적게 사용하여 대량의 웹페이지 본문을 크롤링해야 하는 시나리오에 적합합니다.
핵심 기능
- 본문 추출: 웹페이지 본문 영역을 자동 인식하고 광고, 내비게이션 등 방해 요소 제거
- Markdown 출력: 웹 콘텐츠를 깔끔한 Markdown 형식으로 변환
- 일괄 크롤링: 여러 URL을 한 번에 전달하여 병렬 크롤링
- 메타데이터 추출: 제목, 설명, 작성자, 게시일 등의 메타 정보 추출
- 경량 고효율: HTTP 요청 기반으로 브라우저를 사용하지 않아 속도가 빠르고 리소스 점유가 적음
설정 방법
{
skills: {
ghostfetch: {
timeout: 10000,
maxConcurrent: 5,
userAgent: "OpenClaw/1.0",
extractImages: false
}
}
}
사용 시나리오
- 웹 기사 내용 빠르게 읽기 (JS 렌더링이 필요 없는 페이지)
- 여러 웹페이지의 정보를 일괄 수집하여 종합 분석
- RAG 시스템에 웹 콘텐츠 입력 제공
- 기사 지식 베이스 구축
Agent Browser와의 차이점
GhostFetch는 HTTP 요청 기반으로 빠르지만 JavaScript 렌더링이 필요한 페이지는 처리할 수 없습니다. 대상 페이지가 SPA(Single Page Application)이거나 로그인이 필요한 경우 Agent Browser를 사용하세요.