使用在窗口内查找图像 action

使用在窗口内查找图像 action 使用目标图像（针）在应用程序窗口 (haystack) 中搜索 UI 元素。 目标图像是可用于搜索 UI 元素的现有图像。

过程

要在应用程序窗口中查找图像，请遵循以下步骤：

  1. 从操作面板中的图像识别 package 双击或拖动在窗口内查找图像 action。
  2. 指定要在应用程序窗口中找到的目标图像（针）。
    • Control Room 文件： 使用 Control Room 上可用的图像文件。
    • 桌面文件： 使用您设备上可用的图像文件。
    • 变量： 使用指定要使用图像的位置的文件变量。
    注： 支持 .jpeg、.jpg、.jpe、.jfif、.bmp、.png 和 .gif 格式的图像。
  3. 指定您要在其中查找源图像的窗口 (haystack)：
    从应用程序、浏览器或变量选项卡中选择。
    选项描述
    应用程序 从当前活动窗口的列表中选择。 此选项显示 Bot Creator 设备上打开的所有应用程序和浏览器窗口的列表。
    浏览器 从支持的浏览器选项卡列表中选择。
    注： 此选项支持 Google Chrome、基于 Chromium 的 Microsoft Edge 和 Internet Explorer 浏览器。 对于所有其他浏览器，请使用应用程序选项。
    变量 选择现有窗口变量以指定应用程序窗口标题。
    在窗口标题字段中插入通配符 (*)，以搜索可以更改的窗口标题。 可以在值的开头、中间或结尾指定一个或多个通配符 (*)。 例如，要对标题中包含 Microsoft 的任何窗口执行操作，请将通配符添加到值之前或之后来指示任何字符串：*Microsoft*。 bot 首先会搜索确切的窗口标题 (Microsoft)，如果找不到匹配项，它会搜索标题中任何位置带有 Microsoft 一词的窗口。

    您可以使用正则表达式 (regex) 来标识窗口标题。 将每个正则表达式条件选择为字符串或模式，然后输入值。 默认情况下，窗口标题字段区分大小写。

    要识别浏览器标题，您可以启用区分大小写选项以匹配字母大小写，或禁用该选项以识别字母大小写不匹配的窗口标题。
    注： 确保您系统上安装的最低 Bot Agent 版本是随 Automation 360 v.26 发布的版本。 如果存在随 Automation 360 v.25 或更早版本发布的 Bot Agent 版本，则默认情况下，将仅通过匹配字母大小写（区分大小写）识别窗口标题。
    例如，要匹配所有以单词开头、后跟 - Notepad 的窗口标题名称，您可以输入字符串值 * -Notepad，或者仅为与此模式匹配的窗口标题使用模式值 ((\w)\s)*document-Notepad。
    注：
    • 当您使用类型为字符串的正则表达式，并将 -title 作为任何 action 的窗口标题的输入值时，bot 可能会遇到运行时错误。 为了防止运行时错误，请确保在将字符串输入添加为 *-title 时，具有特定标题的应用程序已打开。 星号 (*) 只是一个字符，而不是通配符。
    • 当您使用类型为 Pattern 的正则表达式，并将 -title 作为任何 action 的窗口标题的输入值时，bot 可能会遇到运行时错误，因为输入值 *-title 是不正确的。

      请确保使用有效的正则表达式模式。

  4. 可选： 选择重设窗口大小选项以指定窗口尺寸。
    此选项可提供更可靠的 bot。 它根据录制任务的尺寸调整窗口的大小，这增强了 bot 识别目标对象的能力。
    • 如果在您录制任务时窗口最大化，则此选项处于取消选中状态。
    • 如果在录制任务时窗口未达到最大尺寸，则默认选择此选项，并且宽度和高度字段会自动填充窗口尺寸。
    注： 此选项仅适用于可以调整大小的窗口。 它不适用于桌面或任务栏选项。
  5. 单击捕获区域。
    选定窗口将出现。
  6. 拖动鼠标选择该区域，完成后右键单击。
    捕获的区域将显示在预览部分，下面是图像坐标。
  7. 在捕获图像之前等待的毫秒数字段中指定搜索图像之前的延迟（以毫秒为单位）。
  8. 如果希望系统在找不到图像时重试搜索目标图像，请选中找不到图像时重复复选框。
    1. 在时间字段中，指定系统必须重复该过程以查找目标图像的次数。
    2. 在重复等待间隔（毫秒）字段中，指定系统在重复查找目标图像之前必须等待的时间段。
  9. 在匹配百分比字段中，指定两个图像之间匹配像素的可接受百分比。
    例如，如果在字段中指定 20 为匹配百分比，则即使两个图像之间存在高达 80% 的像素不匹配，系统也会将图像视为匹配。
  10. 在选定匹配编号字段中，输入一个值以指定要在其上执行此 action 的目标图像的出现次数。
    如果您不知道图像在屏幕上出现的次数，可以插入变量。 确保分配支持数值的变量。
  11. 如果您想选择相对于您在应用程序屏幕上搜索的现有目标图像的图像，或者如果目标图像多次出现并且您想选择特定的出现，请使用预览选项。
  12. 单击预览。
    如果目标图像在预览窗口中出现多次，则每次出现都会在矩形框中突出显示，并在每次出现时显示一个编号。
  13. 选择特定的突出显示事件，您可以相对于现有图像确定单击位置。
    注： 如果在您正在自动化的应用程序屏幕上有多个图像，并且目标图像不易搜索；在这种情况下，您可以选择捕获区域中一个易于识别的图像，并相对于它确定您的单击位置。
  14. 如果在捕获的区域中多次找到目标图像。 在这种情况下，您可以选择特定目标图像的出现次数，或者从右侧窗格的匹配编号（可选）字段中的下拉菜单中选择出现编号。
    右侧窗格中的匹配编号（可选）和目标偏移字段显示您选择的图像出现次数及其目标图像的偏移坐标。
  15. 单击提交。
  16. 在目标坐标选择字段中，坐标选项匹配中心或匹配偏移将根据您在预览窗口中执行的 action 自动选择。
    • 匹配中心： 根据匹配图像中心的坐标选择图像。
    • 匹配偏移量： 根据与匹配图像的相对坐标选择图像。
    注： 偏移坐标测量图像左上角的像素数量。
  17. 从对目标坐标采取的操作列表中选择一个选项，以指定要在应用程序窗口中对匹配图像执行的操作。
  18. 单击保存。