🔥
Firecrawl
网页抓取 搜索与效率工具安装命令
npx clawhub@latest install firecrawl
安装说明
1
确认环境
确保已安装 Node.js 22+ 和 OpenClaw。在终端运行 openclaw --version 确认 OpenClaw 正常工作。
2
执行安装
在终端中运行上方安装命令，ClawHub 会自动下载并安装 Firecrawl 到 ~/.openclaw/skills/ 目录。
3
验证安装
运行 openclaw skills list 查看已安装技能列表，确认 Firecrawl 已出现在列表中。
4
配置参数（可选）
根据下方介绍中的配置说明，在 ~/.config/openclaw/openclaw.json5 中添加技能的配置项。
手动安装方式：将 Skill 文件夹复制到
~/.openclaw/skills/ 或项目目录下的 skills/ 文件夹，确保文件夹中包含 SKILL.md 文件。
网页深度爬取与结构化提取
批量URL抓取与Markdown转换
动态页面渲染与JavaScript执行
详细介绍
Firecrawl 是专为大语言模型设计的网页抓取与数据提取工具，能够将任意网站内容转换为干净、结构化的 Markdown 或 JSON 格式，方便 AI 直接理解和使用。
核心功能
- 网页抓取（Scrape）：输入单个 URL，自动处理 JavaScript 渲染、反爬机制，返回干净的 Markdown 内容，剥离导航栏、广告等无关元素
- 站点爬取（Crawl）：从入口 URL 出发，自动发现并爬取整个站点的所有子页面，支持设置爬取深度和页面数量限制
- 数据提取（Extract）：根据自定义 Schema 从网页中提取结构化数据，支持 JSON Schema 定义字段和类型
- 批量处理：支持同时提交多个 URL 进行批量抓取，异步执行并返回结果
配置说明
{
"mcpServers": {
"firecrawl": {
"command": "npx",
"args": ["-y", "firecrawl-mcp"],
"env": {
"FIRECRAWL_API_KEY": "fc-your-api-key" // 从 firecrawl.dev 获取
}
}
}
}
使用场景
- 构建 RAG 知识库：批量抓取文档站点，将内容转为向量数据库可索引的格式
- 竞品分析：爬取竞品网站提取产品信息和定价数据
- 内容聚合：从多个新闻源抓取文章并结构化存储
- 数据采集：从电商网站提取商品名称、价格、评分等字段