应用于物体定位与检测的视觉技术的新进展

本文介绍了若干种综合使用了几何描述法并应用于直接式训练对准工具的新型技术。这些技术为使用已有的图像进行训练提供了一种代替方案，并解决了类似于由于照明情况和物体外形的变化而引起的精确度和鲁棒性受限的基于图像的训练所存在的问题。这些技术包括将CAD数据导入并用于对准的功能、直接编辑高级几何描述并以此对对准效果进行优化和使用专业的机器视觉工具以半自动方式产生并更新几何描述。文章在介绍一种几何描述建模环境时，列举了一个范例。

简介

最近几年，对准技术在工业应用领域有了质的飞跃。直至若干年前，规范化的灰度关联法代表了当时的最高水准，并提供了继早期的二进制搜索方法之后的重大的进步。特别地，规范化关联法提供了更高的精确度，并可以处理一定范围内的照明变化，而不用将图像分离成前景和背景。最近，在Cognex公司引入其PatMax®技术后，机器视觉产品市场已经出现了多种多样具有极高精度的“几何”对准工具，这些工具可以处理严重的照明变化、物体尺寸与方向的变化和主要的挡光。

对准工具典型的配置或者“训练”方式是，提供一张包含有即将要定位的物体的外貌的图像，并指定相当数量的运行参数（例如，位置的不确定范围）。基于此种训练方式的几何对准工具在需要对物体位置进行精确测量的定位导向应用场合（例如，汽车装配和半合导体制造）和需要进行姿态估计以形成检测和测量的预设值的质量控制应用场合（例如打印质量检测）已变得非常重要。

尽管这种功能强大的“显示即可行”的方法已经在众多应用领域取得了瞩目的成功，但是它依然受限于一系列条件。这些限制条件（马上会详细讲解）包括缺乏可供训练的高质量图像、物体外形的非线性变化、无法精确确定物体的坐标系与无法利用从CAD数据得到的几何信息。由于受制于这些因素，人们希望能有一种可综合使用由诸如圆弧、线段、圆、椭圆、样条曲线甚至是“线-框”等高级几何元素组成的几何描述对象对对准工具进行直接训练的代替方案。如此一个代替方案涉及多重级别的功能，包括能够导入CAD数据进行对准、能够直接编辑几何描述对象完成优化对准目标、能够通过使用专业的机器视觉工具以一种半自动的方式产生与精简几何描述对象。

基于图像的训练存在的不足之处

基于图像的训练的第一个问题是难以获得用于训练的对象的高质量图像。其次，一件物体的所有图像的几何特征是连续的，但是单张图像在与不稳定的人为照明因素（例如阴影）或者从训练场所中其它物体和物品所凸现的特征进行对比时就会模糊不清。由于对准工具只能达到其所受训练的模型的精度，带有噪声或者画面凌乱的训练图像将极大地降低对准结果的准确性和鲁棒性。

基于图像的训练的一个相关问题是其无法为由于照明效果或者生产容许范围内的实际物理变化所引起的物体外表的某些非线性变化提供补偿。打比方说，这通常是物体上的陡峭的拐角在成像时从不同的角度看都是圆的原因所在。理想的情况下，这些变化不应被具体的包含在模型中，否则对准的结果将变得不准确。

基于图像的训练的另一个主要的困难在于需要精确指定即将要对准的物体的初始点和方位，这样做是为了达到很高精度的对准位置结果（有时低至一个象素的1/40。对准的结果不会比模型的坐标系统的定位更精确，但是其坐标系统通常都需要手动放置至物体的图像内。

最后的问题是，对于使用图像进行训练的对准工具而言，充分利用来源于物体的并常从CAD数据库得到的诸如尺寸和容许公差等几何数据显得有困难。同样的，仅仅靠指定参数化的外形（例如圆、矩形和十字形等）对对准工具进行训练也有困难。自然属性的尺寸信息很自然的在空间效率上要比从真实的图像抽取的特征高。此外，高级别的几何元素不仅能提供一件物体该有的特征的具体相关信息，也能（内在的）提供该物体可能丢失的特征的相关信息。例如，一个特定的物体是矩形的这样的信息可能可以被用于排除具有超出该矩形的四个角的需对准的备选特征。最后，充分利用物体的尺寸信息可使可能需要后续对准操作的深入检测和测量操作更加容易进行。

利用几何描述进行综合训练

利用几何描述对对准工具进行综合训练有两种基本方法：非直接方法和直接方法。非直接方法需要通过使用计算机图像技术对物体的几何描述进行渲染得到一副图像，再对对准工具进行训练。尽管这类方法在不用改用下面将要阐述的对准工具技术的情况下就已经解决了上述提到的基于图像的训练遇到的许多问题，但是，这类方法依然深受在实际的渲染过程中丢失有价值的几何信息的问题的困扰。不仅仅物体的具体尺寸无法从渲染的图像恢复，最终得到的对准工具的模型的精度也不可避免的受渲染图像的量化结果所限。此外，对用于在CAD数据中常遇到的具有无法用封闭曲线描述的几何特征的物体进行对准操作的对准工具进行训练已变得异常困难。

另一方面，直接综合训练方法只需利用几何描述本身对对准工具进行设置即可，此处的几何描述要求对准技术可通过扩展从而可以理解高级别的几何体，此处的高级别几何体是相对于从训练图像中抽取出来的区域或者封闭曲线生成的低级别几何体而言的。这种理解的结果催生了一种与通过物体的渲染图像进行训练产生的对准模型完全两样的对准模型，因为它在一定的程度上保留并应用了高级别的几何约束条件。

生成几何描述的方法

如前文所提到的，生成一件物体的几何描述的其中一种方法是通过导入CAD数据库（例如一个后缀名为.DXF的文件）的数据，或者（类似的）通过解释由用户输入的形状和尺寸信息（例如，基准标志的尺寸）。但是，需牢记在心的是，用于描述物体的物理尺寸的高级几何元素并不总是适用于高精度对准。首先，有些建模的物体边界在物体的图像中可能由于照明效果而不可见。其次，某些尺寸由于生产的高度变化性而变得不可靠。

但幸亏几何描述本身十分容易进行编辑。具备将CAD描述导入其中并对这些描述进行编辑以期优化对准的性能的能力是一种功能非常强大的方法，该方法最近已应用于若干个实际例子（例如印制电路板中表面贴面器件的放置）。使用编译器，用户剋删除不可靠的几何元素，补画CAD描述中由于某种原因丢失的几何元素，或者移动或者修改几何元素以便更好的与物体的图像中实际存在的特征匹配。所有的这些编辑操作可能在几何描述本身的坐标系内就可完成，或者可以在物体的实际图像的上方完成操作。后面这种情况下，物体的图像为用户提供了物体外形的一个粗略导向，这样可以对几何描述进行优化，也可以对用于在每次编辑后对瞄准工具进行交互式测试的数据进行优化。在某种意义上，该编辑器是一个真正的交互式建模环境。

该编辑器另一个非常有用的特色是其具备可以通过使用专业的机器视觉工具以一种半自动的方式进行几何描述的创建与简化的功能。这类专业工具粗略可分为两类：自动从物体的图像抽取可靠的高级别元素的工具与可简化或者“快拍”高级别的几何元素以与物体的图像中明显具有的特征保持一致。

几何抽取工具对于CAD数据无法获得的情况或者当来自于CAD数据的重要的几何描述元素丢失的情况都有好处。这对于具有复杂几何形状的物体尤其有用，否则该物体需要由用户反复进行画图或者输入数据。理想状态下，用户只需选定他为了对准而所需要描述的图像中的特定图形区域即可，而这种做法使得该工具可以分析该区域，以达到产生能反映该区域的特征的高级别的几何元素。

类似的，可简化几何描述的工具在CAD数据并不能准确描述图像中的物体的典型外形的场合。这些工具在CAD数据无法获得而几何抽取工具由于某种原因失效了或者不合适的场合下也是有用的，而这需要在物体的图像的辅助下手动对几何元素进行描画。在这些情况下，简化工具极大的降低了数据需要准确地描画或者指定的要求。

应该注意的是，这些专业工具是专门作为建模任务的一部分而不是整个生产过程的一部分的“离线”使用设计的。出于此目的，只要这些专业工具的执行时间不会缓慢（典型值为几秒）到令人生厌，则执行时间不是很重要。出于同样的理由，只要有人工方式（例如，图像的）提供支持，则即使这些工具偶尔失效，那也是可以接收的。即使偶尔会失效，使用这类工具生成一个有效的几何描述所需的平均时间也得到大大的减少。很自然的，放宽了这些条件会降低所得到的对准工具的性能。生成对准工具是整个生产过程中必须执行的一部分，而典型的执行时间为几十毫秒，典型的成功率为99.99％。

使用几何描述法的新式对准工具

过去一年里，Cognex公司引入了可直接从几何描述对对准工具进行综合训练的技术，该技术是其PatMax对准技术的一个标准化部分。一种几何描述法目前被指定为“线-框”元素（如图1所示）的2维放置方法。每一个线-框都是由用于对物体的高对比度边缘进行建模的圆弧和线段前后连接的一部分。线-框可以是封闭的或者是开放的。线-框包含用于形成相互连接部分之间的结点的每一个凸点的转角平滑信息和与每一部分有关系的可供选择的倾斜极性与尺寸许可公差信息。当使用线-框元素进行空间布置从而完成对一个PatMax工具进行训练的任务时，每个线-框可能会被分配一个与其在决定整体对准效果时的相对的重要性成正比的权重。每个线-框的权重值甚至可以是负值的，这样就使得用户能够指出不应出现在物体的图像中的特征。

离现在更近的时候，Cognex公司还开发了可以“导入”DXF格式的CAD数据以便可以综合训练它的PatMax工具的功能以及一种用于创建物体的几何描述并基于这些几何描述配置并测试PatMax对准工具的交互式快速建模平台。共同的，CAD导入功能与建模平台使得用户可以进行一系列的操作，包括：

•使用点网格校准目标进行校准（允许以物理单元（例如宏）定义几何描述）

•获得和/或导入物体的图像

•导入物体的CAD数据

•在物体的几何描述的“蓝图”内或者在物体的图像之上描画或者处理线-框的形状。

•输入线-框部分的精确尺寸和极性

•在物体的图像的指定区域内自动抽取线-框元素

•在物体的一幅图像内，自动将线-框元素简化（快拍）为已存在的特征

•在几何描述体的范围内，自动以物体的坐标系为中心并对准此坐标系

•对由线-框元素的2维分布组成的几何描述形成的PatMax对准工具进行设置和训练

•通过图像数据库对受训练过的PatMax工具进行测试，可产生准确度和执行时间并生成统计数据作为反馈信息

•导入与导出将在整个生产流程的后续环节用到的最终的几何描述、获得图像、校准信息和对准参数

范例

对一个用于能很好的对Cognex采集系统的VME面板进行对准的对准工具进行设置的任务阐述了这个快速建模环境的作用。在本例子中，用于该VME面板的格式为DXF的CAD数据是作为机械设计过程（如图2所示）的副产品而获得的。这种情况往往发生在所制造的物体必须被对准的场合。在进行一步对准操作后，包含有几何数据（相对于注释而言）的层面被导入编辑器中。得到该面板的一副图像后，基于这种分布对PatMax工具进行训练的初始测试是成功的，但也暴露出对准的匹配度不高，因为这些几何描述并不完全与图像匹配。在很多情况下，如果CAD描述的某些部分由于较大的制造容许公差并不能精确的描述物体的外部尺寸，则匹配度将会比较低。而在其他情况下，这些部分可通过修改和/或删除用于描述它们的线－框元素（或者，也可以通过给这些元素分配一个相对于该分布的其他元素来说相对低的一个权重）而从该几何描述中得到有效的删除。而这是在假设即使没有这些部分仍然有大量的信息可用于精确对准。图3所示是，该面板在经过删除某些部分（例如，用于描述每一个孔的数据）的过程后的线－框元素分布情况。

请注意，即使无法得到面板的CAD数据，通过使用专业几何抽取与简化工具生成面板的几何描述也是相对容易的。经过校准和图像获取后，用户可以在包含了面板的主要特征（例如孔和外层边界）的图像中选择一个矩形区域。几何抽取工具可高效的完成用于对这些区域范围内（如图4所示）的面板轮廓进行精确建模的线－框的生成工作，因此在这种情况下基本不需要人为的介入（除了可能需要删除不必要的、仅仅是为了生成孔附近的特性的线－框元素）。但是，同样可以快速在孔的上方描画简单的线－框元素并利用几何简化工具对所画元素进行快拍以形成图像。不管是哪种情况，几何描述的坐标系在参考用于描述面板边缘的矩形线－框元素后都可自动设置成中心并对准。

经过这些修改步骤之后，对准工具成功的完成用于高精度对准的设置。这时，其性能可通过使用由一系列的有效照明场景得到的面板图像的数据库对该工具进行完整的测试和通过对几何描述和PatMax参数作进一步的修改从而得到进一步的优化。放置于一副测试图像上方的最终对准模型如图5所示。创建一个优化的描述并对对准工具进行设置的整个过程仅仅需要几分钟。

结论

本文介绍了几种使用几何描述法对对准工具进行直接训练的新技术。这些技术为基于图像的训练提供了一种可代替的方案。基于图像的训练由于照明与物体形状的改变引起的变化有时会产生有限的性能。Cognex开发了一个具备了诸多这类技术的建模平台。该平台具备导入CAD数据、编辑用于优化对准目的的几何描述和以一种半自动化的方式生成并简化几何描述的功能。

当然，综合训练法并不是用于所有的应用场合。打比方说，当拥有将要对准的物体的高质量图像，CAD数据无法获得而该物体的异常复杂时，这种方法就可能不适用了。而当对高度对准精度没有要求时，这种方法可能就大材小用了。这些情况下，直接通过物体的几何描述对对准工具进行训练所获得的好处可能不能抵消创建并简化该几何描述所需付出的额外努力。但是，综合训练的有效性已经在包括基准对准、印制板的表面贴片器件的放置、计算机外围组件装配与检测和光纤维组件检测等诸多应用场合得到证明。