导览功能使用指南
本说明文档帮助您快速上手使用“导览功能”,包含语音对话、设备选择、导览项与目标点的配置与执行。
一、快速上手执行
- 1
-
2
选择语音设备在本页面先完成 选择话筒(有线或者无线) 与 切换喇叭。插拔音箱/麦克风或重启后,需要重新点击 切换喇叭。
-
3
启动语音对话(可选,不需要可以跳过)点击 语音对话,并在「语音配置」中设置激活词。说出激活词听到回应表示语音已激活;长时间未对话会进入待机状态,需要再次说出激活词。
-
4
执行导览新增或选择一个导览项,点击 执行 运行导览。执行前请确认没有其他导览正在执行,且平板端导航已开启并定位成功。
主题切换
页面顶部提供主题切换按钮,点击后可选择不同主题(如暖杏、天蓝等),切换界面配色风格。
顶部设置(服务地址与功能激活)
- 点击顶部设置按钮,可配置机器人服务地址(IP/域名)。
- 首次进入时系统可根据当前访问地址推荐默认 IP,并支持自动倒计时应用。
- 设置中可输入激活码开启对应能力(灵巧手 / 交互人脸 / 导览),保存后重载页面生效。
二、机器人信息模块(新增)
- 实时推送:页面顶部显示“机器人信息”模块,实时接收并显示机器人状态。
- 电量显示:支持电量进度条与百分比显示,便于快速判断剩余电量。
- 低电量提醒:当电量低于 20% 时,电量条会变为红色并发出提示音。
- 参数详情:点击参数详情可进入详情页查看电压、电流、温度等信息。
- 网络状态联动:启动语音对话后,机器人信息标题右侧会显示实时网速与延迟。
三、基础应用
- 上身编排:进入动作编排系统
- 检测IP:检测设备 IP
- 普通人脸:进入普通人脸识别
- 交互人脸:进入人脸识别动态交互模式(详见文末“其他功能入口”)。
四、语音对话
1) 语音对话控制
- 点击语音对话:启动机器人语音对话功能。
- 点击停止对话:停止机器人语音对话功能。
- 点击打断对话:打断当前对话。
- 点击进入待命:使AI进入待命状态,此时动态人脸交互才会开始检测。
- 点击激活对话:重新激活对话。
2) 语音配置与激活词
- 点击语音配置进入配置界面,可设置语音对话激活词。
- 启动语音对话后,根据“语音配置”中的激活关键词说出关键词即可激活对话。
- 长时间不对话会进入待机状态,需要再次说出激活词重新激活。
3) 语音对话注意事项
重要:对话时如需启动相机、调用机器人动作或者让机器人行走时,不可重复执行同一指令,否则会调用失败。
- 点击查看日志可进入语音日志详情页,支持实时刷新与滚动查看。
- 语音日志页面会过滤网络监控行,并限制显示总行数,避免长时间运行导致页面卡顿。
五、设备选择(话筒与喇叭)
- 点击有线话筒 1 / 有线话筒 2 / 无线话筒:切换话筒输入,选中的话筒会显示蓝色勾选标志。
- 点击切换喇叭:切换音频输出设备。
重要:每次插拔音箱/麦克风或者重启机器人之后,都需要点击一次“切换喇叭”。在使用语音对话前请先选择话筒并切换喇叭。
六、地图管理
1) 启动导航 / 关闭导航(新增)
- 点击启动导航可在桌面端启动导航程序(等同于桌面双击启动导航)。
- 点击关闭导航可关闭桌面导航并停止导航栈。
- 点击创建地图进入在线建图页面,建图过程支持实时查看点云与机器人位姿。
创建地图页面(点击“创建地图”进入)
- 进入后会打开全屏建图视图,可实时查看地图、点云与机器人位姿变化。
- 支持拖拽移动地图、双指缩放查看细节,便于现场边走边观察建图质量。
- 页面顶部提供保存地图,建图完成后可直接保存,无需先退出页面。
- 建议先完成全场扫描并确认墙体闭合,再执行保存操作。
编辑地图页面(点击“编辑地图”进入)
- 平移模式:用于浏览地图,不修改栅格数据。
- 擦除模式:用于清理噪点和临时障碍物;拖动即可连续擦除。
- 画障碍模式:用于补充固定障碍边界(建议谨慎使用)。
- 光标/笔刷大小:擦除模式下可调大小(像素),建议先小范围试擦后再扩大范围。
- 撤销/重载/保存:支持撤销上一步编辑、重载原图,以及保存当前修改。
- 裁剪功能说明:当前裁剪入口处于禁用状态,请勿依赖该功能进行正式编辑。
2) 保存地图
- 点击保存地图按钮,确认后保存当前地图。
- 保存地图会将当前建图结果保存到系统,建图完成后务必先保存地图。
重要:如果还是使用桌面建图,建图完成后,请先点击"保存地图"按钮保存地图,再关闭建图界面,否则地图数据可能丢失。如果是在手机端点击建图可以直接在建图界面点击 “保存按钮”,功能一样。
3) 备份地图
- 点击备份地图按钮,打开备份弹窗。
- 在弹窗中输入备份名称(不能与已有备份重名)。
- 点击右上角"开始备份"按钮,系统将自动备份以下内容:
- 地图文件(map 目录)
- 配置文件(config 目录)
- 路径文件(path 目录)
- 点云文件(PCD 目录)
- 备份完成后,可在备份列表中查看所有备份记录(包含备份名称和创建时间)。
提示:定期备份地图可以防止数据丢失,建议在重要操作前进行备份。备份数据存储在 /home/ztx/robot/map-backup 目录下。
4) 导入地图
- 点击导入地图按钮,打开导入弹窗。
- 在备份列表中选择要导入的备份记录(点击记录或点击"选择备份"按钮)。
- 确认选择后,点击右上角"开始导入"按钮。
- 系统会提示确认,确认后将自动恢复所选备份的所有地图数据。
- 导入完成后,当前地图、配置、路径和点云数据将被替换为备份内容。
警告:导入地图会覆盖当前的所有地图数据,请确认后再进行操作。建议在导入前先备份当前地图。
5) 删除备份
- 在备份地图弹窗中,可以点击备份记录右侧的删除按钮删除不需要的备份。
- 删除操作不可恢复,请谨慎操作。
七、导览项
1) 新增导览项
- 点击+ 添加导览项。
- 设置:中文名称、英文名称(仅英文字母)、触发关键词、描述。
- 保存后将自动生成导览项,默认启用。
2) 触发关键词
当语音对话已启动且对话正常进行时,在对话中说出该导览项配置的关键词,即可触发自动启动该导览(使用前需在电脑上启动导航并完成定位)。
3) 编辑 / 删除 / 执行
- 展开导览项后可进行编辑与删除。
- 点击执行可执行该导览项。
- 执行前需先点击地图模块的启动导航按钮,再确认定位成功。
- 执行前需确认:当前没有其他导览项正在执行,且平板端导航已开启并定位成功。
- 导览执行过程中可点击暂停导览与恢复导览进行控制。
- 点击 停止所有导航可停止进行中的导览项以及平板端桌面启动的导航。
八、目标点
1) 添加与查看
导览项展开后,可添加多个目标点(支持单点或多点,注意需要先“启动地图”并“定位成功”)。
推荐获取方式:将机器人移动到目标点位置,在目标点编辑界面点击获取当前位置,自动获取 X / Y / 角度。
- 将机器人移动到目标位置并确认姿态方向。
- 打开该目标点编辑弹窗。
- 点击获取当前位置按钮,系统自动写入坐标与角度。
- 核对后保存即可。
注意:只有在“启动地图”并“定位成功”后,才能获取到正确的目标点位。
备选获取方式(第一种方式):在导览界面通过 Publish Point 读取坐标后手动填写。
- 点击工具栏中的 Publish Point 按钮。
- 将鼠标移动到地图上的目标点位(无需点击)。
- 查看左下角坐标信息,读取 X / Y(逗号分隔)并手动填写;角度按现场姿态填写。
2) 参数说明
- X / Y / 角度:必填;推荐通过“获取当前位置”自动填充,也可使用 Publish Point 备选方式手动填写;角度范围 -180度 ~ 180度;
- 等待时间(秒):可选;到达目标点后停留的秒数,建议尽量与音频播放时间和动作执行时间一致。
- 音频文件:可上传 MP3,到达目标点时自动播放;如无声请先点击“切换喇叭”。
- 视频文件:可上传视频文件(单文件);上传成功后会保存为点位视频资源,到达目标点时按播放模式自动播放。
- 视频播放模式:支持“不播放 / 本地 / 大屏 / 同时”。上传视频后若未设置,系统默认切换为“同时”。
- 视频标题:可选;用于大屏端视频展示标题。
- 动作文件:可选择对应动作,到达目标点后执行;动作可配置手指动作时间轴(动作编排与编辑可参考《宇树G1机器人动作编排快速上手指南》)。
- 描述:用于标注该目标点说明。
视频配置说明:点击“视频文件”可上传或替换视频;在弹窗中点击“删除”可清空当前目标点的视频文件、播放模式和视频标题。
3) 编辑、插入与删除
每个目标点卡片提供以下操作按钮:
- 编辑:编辑目标点的所有参数(坐标、角度、等待时间、音频、动作、描述等)。
- 插入:复制当前目标点并在其上方或下方插入新的目标点。
- 点击目标点卡片上的插入按钮(向上箭头图标),会在当前点上方插入一个复制点。
- 点击目标点卡片上的插入按钮(向下箭头图标),会在当前点下方插入一个复制点。
- 插入的复制点会复制当前点的坐标(X、Y、角度)、等待时间和描述,但等待时间会重置为 0,音频文件、视频文件和动作文件为空,视频模式恢复为“不播放”。
- 插入后会显示一个带蓝色虚线边框的复制点卡片,包含取消和确认按钮。
- 点击确认:保存插入的点到后端,完成插入操作。
- 点击取消:取消插入操作,不保存复制点。
- 删除:删除该目标点(需确认)。
提示:插入功能可以快速复制相似的目标点,然后只需修改坐标等参数即可,提高配置效率。插入的复制点等待时间默认为 0,可根据需要编辑修改。
九、实时导航地图(新增)
- 页面下方提供实时导航地图模块,可查看当前导航状态、进度、路径、雷达点云和机器人位姿。
- 未执行导览时会显示所有导览项点位,不同导览项使用不同颜色,点位旁会显示序号。
- 点击地图可进入全屏查看;全屏下支持地图旋转、拖拽、双指缩放。
- 全屏状态下可直接执行、暂停、恢复或停止导航,便于现场操作。
- 建图全屏页支持实时查看建图效果并可直接点击保存地图。
十、常见问题
- 执行失败:请先在平板端启动导航并定位成功,且确认没有其他导览在执行。
- 语音无响应:确认已点击“启动语音”;检查是否已正确选择话筒并切换喇叭;插拔设备后需再次“切换喇叭”。
- 没有声音:请点击“切换喇叭”后重试;确认音频文件存在且格式正确。
- 点位视频未播放:检查该目标点是否已上传视频文件,并确认“视频播放模式”不是“不播放”;大屏播放场景请同时确认大屏端服务正常。
- 关键词无效:在“语音配置”中检查激活关键词设置;待机后需再次说出激活词唤醒。
平板端使用指南
功能一 开始建图(扫描创建场景地图)
首次使用前必须先开始建图。 点击平板桌面上的“开始建图”进入建图界面,移动机器人,系统会实时扫描并生成场景地图。
建图注意事项:
- 使用常规运控模式。
- 有门的地方需要把门打开(建图时必须打开,导航时可关闭或打开)。
- 尽量有三面墙的位置开始建图和定位。
- 要有人实时观察屏幕,防止地图偏移(实时雷达点与建图墙体不重合就是偏移,参考导览说明未对齐状态截图)。
- 建图扫描,尽量扫描完成整个场景,让地图墙体闭合(尽量完整覆盖场地,场景外围必须闭合,避免出现断口)。
- 建图时保持地图干净(清除可移动障碍物和无关人员),操作员尽量靠墙站立不要随意走动。否则会产生大量噪点。建图过程中会产生噪点与可移动障碍物(如人群、移动物体),请在"编辑地图"中使用 MapEraserTool 左键擦除,右键仅在必要时增加障碍物。详见编辑地图
- 保持速度缓慢、路径均匀,减少重复来回,优先扫描主要通行区域。
- 建图时机器人所在的初始位置将作为每次重定位的默认起点,导览前尽量在该点附近上电/启动。
- 建图过程中会产生噪点与可移动障碍物(如人群、移动物体),请在“编辑地图”中使用 MapEraserTool 左键擦除,右键仅在必要时增加障碍物。详见编辑地图
- 建图完成后,不要关闭建图界面,务必先在APP端点击“保存地图”按钮,再关闭建图界面,否则无法保存
功能二 保存地图(已移植到APP端,在APP端保存地图,参考上面保存地图按钮)
建图完成后不要关闭扫描窗口,务必先在APP端点击“保存地图”按钮,再关闭建图界面,否则无法保存
保存流程注意:
- 场景地图扫描完毕后,不要关闭建图界面
- 在APP端点击“保存地图”按钮,进行保存
- 确认保存成功后,再关闭建图界面。
功能三 编辑地图(清理噪点与可活动障碍物)
双击“编辑地图”进入界面后:
- 点击 打开地图 按钮,选择要编辑的地图。
地图路径:主目录 打开以下文件夹 robot/DaoLan/map/map(绝对路径/home/ztx/robot/DaoLan/map/map)
- 地图加载完成后,点击 MapEraserTool 工具进行清理:
- 左键:擦除噪点、可移动/错误障碍物(如临时摆放物、人员)。
- 右键:增加障碍物(仅在必要时使用,过多会影响定位对齐)。
- 保留固定结构:墙体、柱子等固定障碍物请勿删除。
- 快捷键:按下 Ctrl + + 可增大擦除笔直径,按下 Ctrl + - 可减小直径;范围 1~10 像素。
- 完成编辑后,点击 一键保存所有文件,出现成功提示后再关闭该界面。
功能四 启动导航(每次导览前需双击启动)
每次使用导览前,请在平板桌面双击“启动导航”快捷方式启动导航程序。启动后,需要移动机器人转圈/移动 扫描周围场景,并在 界面 中多次点击 2D Pose Estimate 进行姿态估计,直至扫描点云与地图边界对齐。
未对齐状态: 若界面显示“墙体未重合,不可进行导航”(如图所示),请继续转圈/移动机器人 并重复点击 2D Pose Estimate,直到对齐为止。
图 9 未对齐状态(示例)
十一、其他功能入口
导览 APP 除导览功能外,基础应用模块还提供以下功能入口:
- 人脸识别:识别已注册人员并执行对应动作,详见《锋云智控人脸识别快速上手指南》。
- 人脸识别动态交互模式:识别到人员或陌生人时,AI 大模型会主动说出您设置的内容,需先启动语音交互,详见《人脸识别动态交互模式快速上手指南》。
参考资料:
- 《宇树G1机器人动作编排快速上手指南》— 动作文件的编排与理解,含手指动作配置。
- 《锋云智控人脸识别快速上手指南》— 人脸识别系统使用说明。
- 《人脸识别动态交互模式快速上手指南》— 动态交互模式(个性化问候)使用说明。
导览功能 · 简明使用说明