🔥
Firecrawl
웹 크롤링 검색 및 생산성설치 명령어
npx clawhub@latest install firecrawl
설치 안내
1
환경 확인
Node.js 22 이상과 OpenClaw가 설치되어 있는지 확인하세요. 터미널에서 openclaw --version을 실행하여 확인할 수 있습니다.
2
설치 실행
위의 설치 명령어를 터미널에서 실행하세요. ClawHub가 자동으로 Firecrawl을(를) ~/.openclaw/skills/ 디렉토리에 다운로드하고 설치합니다.
3
설치 확인
openclaw skills list를 실행하여 설치된 스킬 목록을 확인하고, Firecrawl이(가) 목록에 표시되는지 확인하세요.
4
매개변수 설정 (선택사항)
아래 소개의 설정 안내에 따라 ~/.config/openclaw/openclaw.json5에 스킬 설정 항목을 추가하세요.
수동 설치 방법: Skill 폴더를
~/.openclaw/skills/ 또는 프로젝트의 skills/ 디렉토리에 복사하세요. 폴더에 SKILL.md 파일이 포함되어 있어야 합니다.
웹페이지 심층 크롤링 및 구조화 추출
대량 URL 스크래핑 및 Markdown 변환
동적 페이지 렌더링 및 JavaScript 실행
상세 소개
Firecrawl은 대규모 언어 모델을 위해 설계된 웹 스크래핑 및 데이터 추출 도구로, 임의의 웹사이트 콘텐츠를 깔끔하고 구조화된 Markdown 또는 JSON 형식으로 변환하여 AI가 직접 이해하고 활용할 수 있게 합니다.
핵심 기능
- 웹 스크래핑(Scrape): 단일 URL을 입력하면 JavaScript 렌더링과 안티 크롤링 메커니즘을 자동 처리하여 내비게이션 바, 광고 등 불필요한 요소를 제거한 깔끔한 Markdown 콘텐츠를 반환
- 사이트 크롤링(Crawl): 진입점 URL에서 출발하여 사이트 전체의 하위 페이지를 자동 발견 및 크롤링, 크롤링 깊이와 페이지 수 제한 설정 가능
- 데이터 추출(Extract): 사용자 정의 Schema에 따라 웹페이지에서 구조화된 데이터를 추출, JSON Schema로 필드와 타입 정의 지원
- 일괄 처리: 여러 URL을 동시에 제출하여 일괄 스크래핑, 비동기 실행 후 결과 반환
설정 방법
{
"mcpServers": {
"firecrawl": {
"command": "npx",
"args": ["-y", "firecrawl-mcp"],
"env": {
"FIRECRAWL_API_KEY": "fc-your-api-key" // firecrawl.dev에서 발급
}
}
}
}
사용 시나리오
- RAG 지식 베이스 구축: 문서 사이트를 대량 스크래핑하여 벡터 데이터베이스에서 인덱싱 가능한 형식으로 변환
- 경쟁사 분석: 경쟁사 웹사이트를 크롤링하여 제품 정보와 가격 데이터 추출
- 콘텐츠 집계: 여러 뉴스 소스에서 기사를 스크래핑하여 구조화된 형태로 저장
- 데이터 수집: 전자상거래 사이트에서 상품명, 가격, 평점 등 필드 추출