插件 v1.0.0 免费 数据采集

云采助手

可视化采集插件:自定义规则抓取网页、批量采集与一键发布文章,支持图片入库、规则市场与写文章页快捷采集。

发布者
林子辰
更新
2026-07-29
2 下载
109 浏览
0 反馈

应用介绍

云采助手是什么

云采助手 是面向 HopeCMS 的可视化采集插件,把「配置规则 → 试抓验证 → 批量采集 → 一键发布」串成一条后台工作流,适合日常补稿与批量建站。

核心能力

  • 可视化规则:配置站点、列表页与内容页字段,支持规则匹配、XPath、JSON、自动识别等多种提取方式
  • 字段处理:批量替换、清洗、格式转换等后处理,灵活适配不同站点结构
  • 试抓与发布:单篇试抓预览,确认无误后一键写入本站文章
  • 批量采集:磁盘队列 + 单篇续跑,内存占用低;支持运行间隔、抓取间隔、失败重试
  • 图片入库:正文图片可下载并写入 HopeCMS 附件资源库;可选本地、阿里云 OSS、腾讯云 COS、七牛云 Kodo
  • 写文章快捷采集:在写文章/页面工具栏粘贴网址,一键填入标题、正文、摘要、封面等,支持转 Markdown
  • 规则市场:浏览、安装他人规则,也可将本地规则发布到市场;远程不可用时可游客使用本地规则管理
  • 定时任务:开启自动采集后,可配合计划任务或宝塔面板一键添加采集 Cron

适用场景

  • 多站点内容聚合与站内再发布
  • 行业资讯、博客文章的规则化抓取
  • 已有规则包的快速导入与复用
  • 编辑日常「粘贴网址 → 出稿」的轻量补稿

环境说明

  • 运行于 HopeCMS 后台,启用后侧栏出现「云采助手」入口
  • 本地采集、规则编辑、文章发布不依赖远程市场;市场与会员功能需对接官方接口
  • 请遵守目标站点 robots 与版权规范,合法合规使用

使用说明

安装启用

  1. 后台应用中心安装「云采助手」
  2. 后台进入 插件,启用「云采助手」
  3. 启用后自动创建规则数据表并生成默认配置(含 API 密钥)
  4. 侧栏点击 云采助手 进入管理页

首次配置

进入 插件配置 标签:

  1. 自定义验证(key):至少 6 位,用于采集 API 鉴权;计划任务 URL 中的 key 即此值,请勿泄露
  2. 按需开启 HTML 转 Markdownrobots 协议自动采集
  3. 设置运行间隔、抓取间隔、失败等待与重试次数
  4. 图片配置 中选择储存方式(本地 / OSS / COS / 七牛),并指定附件资源分类
  5. 点击页面底部 立即提交 保存

提示:开启伪静态后,请使用插件配置页展示的伪静态采集地址;旧式 ?plugin=yuncai&task=… 将失效。

创建采集规则

  1. 打开 会员中心(远程不可用时可「游客进入」)
  2. 在规则管理中 新增规则,填写规则名称与目标站点
  3. 按标签页配置:
    • 采集设置:站点网址、编码、简介等
    • 采集网址:列表页 URL 生成规则(数字/字母/自定义等)
    • 内容列表:从列表页提取文章链接
    • 获取内容:配置标题、正文、摘要、封面、标签等字段
  4. 可为字段添加 处理过程(如批量替换、提取首图等)
  5. 保存后用 试抓 验证列表与字段是否正确
  6. 试抓页确认无误后可直接 发布 到本站

字段映射说明

插件配置中的参数映射(默认示例):
标题=title 内容=content 摘要=excerpt 封面=cover 标签=tag

请保证规则字段名与发布映射一致,否则无法正确写入文章。

批量采集与定时任务

  1. 在规则 设置 中填写 任务名(英文/数字,供 Cron 调用)
  2. 开启插件配置中的 自动采集
  3. 任选一种触发方式:
    • 伪静态:Url::plugin 形式的采集地址(配置页有完整示例)
    • 直接 API:/content/plugin/yuncai/lib/api.php?act=collection&task=任务名&key=密钥
  4. 可选:配置宝塔面板地址与 API 密钥,使用「一键添加采集计划任务」
  5. 重新全量扫描时可在 URL 后加 &reset=1

批量采集采用「磁盘队列 + 每次 1 篇」续跑,适合长时间任务,不易因内存过高中断。

写文章页一键采集

  1. 进入后台 写文章写页面
  2. 工具栏点击 云采
  3. 粘贴文章网址,可选「采集后转 Markdown」
  4. 点击 开始采集,标题/正文/摘要/封面等将填入当前编辑页
  5. 也可使用 转 Markdown 将当前编辑器 HTML 转为 Markdown

规则市场

  1. 打开 规则市场 标签,浏览或搜索规则
  2. 安装到本地后可按需修改再采集
  3. 本地规则可 导出 备份,或 发布 到市场(需会员登录且远程接口可用)
  4. 远程市场不可用时进入 本地模式:游客仍可管理本地规则并完成采集发布

常见问题

问题 处理建议
采集 API 报鉴权失败 检查 key 是否已保存,且任务 URL 中的 key 与配置一致
图片不显示 核对本地保存目录与访问 URL 是否对应;云存储检查 Bucket/域名配置
列表抓不到链接 用试抓/网页分析检查列表规则;确认编码选择正确
发布后字段为空 检查字段名与「标题=title」等发布映射是否一致
远程登录失败 可先游客进入使用本地功能;接口恢复后需重新正式登录
定时不执行 确认已开自动采集、任务名已填,且 Cron/宝塔任务 URL 可访问

合规提示

请遵守目标网站的 robots 协议与版权要求,勿采集隐私、侵权或法律禁止的内容。因违规采集产生的风险由使用者自行承担。

用户反馈

共 0 条
暂无用户反馈,欢迎抢先评价

相似应用

同类型热门推荐

📦 插件

数据迁移

从 WordPress / Emlog / Typecho / Z-Blog 导入;支持防重复、Emlog 密码还原、图片修正、内容替换。

数据采集
📦 插件

第三方登录

快捷登录 API(素颜/黎洛/水滴/聚合/百一)与官方 OAuth2(GitHub/Gitee/QQ/微博),可绑定解绑。

官方生态
📦 插件

视频扩展

基于文章与分类的视频发布扩展;支持多线路选集、短代码嵌入、哔哩哔哩/YouTube/外链播放,内置弹幕播放器(解析、主题、广告、弹幕库与举报)。