🕷️
Decodo Scraper
爬虫 浏览器与自动化安装命令
npx clawhub@latest install decodo
安装说明
1
确认环境
确保已安装 Node.js 22+ 和 OpenClaw。在终端运行 openclaw --version 确认 OpenClaw 正常工作。
2
执行安装
在终端中运行上方安装命令，ClawHub 会自动下载并安装 Decodo Scraper 到 ~/.openclaw/skills/ 目录。
3
验证安装
运行 openclaw skills list 查看已安装技能列表，确认 Decodo Scraper 已出现在列表中。
4
配置参数（可选）
根据下方介绍中的配置说明，在 ~/.config/openclaw/openclaw.json5 中添加技能的配置项。
手动安装方式：将 Skill 文件夹复制到
~/.openclaw/skills/ 或项目目录下的 skills/ 文件夹，确保文件夹中包含 SKILL.md 文件。
反爬绕过
IP轮换
结构化提取
详细介绍
Decodo Scraper 是一个企业级的网页内容抓取技能，通过 Decodo Web Scraping API 实现高可靠性的数据采集。
核心功能
- 智能抓取：自动处理 JavaScript 渲染、验证码、Cloudflare 防护
- IP 轮换：使用全球代理池自动轮换 IP，避免封禁
- 结构化提取：将网页内容转为结构化数据（JSON、CSV）
- 批量采集：支持批量 URL 列表的并行抓取
- 缓存管理：智能缓存已抓取的内容，减少重复请求
配置说明
{
skills: {
decodo: {
apiKey: "xxx",
outputFormat: "markdown",
javascript: true,
proxy: "residential"
}
}
}
使用场景
- 需要绕过复杂反爬虫防护的网站数据采集
- 电商价格监控和竞品分析
- 批量获取搜索结果页面的内容
- 新闻网站内容聚合和存档