自动安全近在眼前

By Ansys Advantage Staff

对于已部署的自动驾驶汽车(AV华体会官网app下载新浪)来说，不会有什么意外。在路上或空中，车辆的感知系统必须“理解”它“看到”的每一个物体。要做到这一点，必须对其软件模型进行适当的训练。如果没有这种训练，它将无法检测或正确分类以前没有见过的物体。

举个例子，考虑一个穿着戏服的人过马路的情况:

人类司机虽然感到惊讶，但会立即认出穿着服装的人，并做出相应的反应。相比之下，感知系统可能无法在逻辑上实现这一关键飞跃，或者更糟的是，根本无法检测到物体。为了确保安全运行，开发人员不仅要训练车辆基于人工智能的感知算法，还要确保它已经学会了它需要知道的东西。

解决这些和其他安全相关的自动驾驶问题是总部位于匹兹堡的Edge Case Research (Edge Case)的使命。Edge Case成立于2014年，最初是卡内基梅隆大学(CMU)的研究人员Michael Wagner(首席执行官)和Phil Koopman教授(首席技术官)的合作，他们都致力于从头开始将安全融入自动系统。该公司的软件产品和服务解决了最复杂的机器学习挑战和嵌入式软件问题。Edge Case在全球范围内与原始设备制造商(oem)、先进驾驶辅助系统(ADAS)供应商、4级以上自动驾驶开发商、车辆运营商和保险公司合作，帮助客户将安全、可靠的产品推向市场。

瓦格纳说:“当我们看到自动驾驶从大学研究实验室出现在道路、天空和医院中时，我们意识到我们有一个绝佳的机会，可以让自动驾驶更安全，更值得我们信任。”

该公司的名字恰如其分地描述了它的业务。在自动驾驶和机器人安全领域，边缘情况代表着罕见的、潜在的危险情况，也是edge Case产品开发的重点。该公司的初始产品Switchboard使用压力测试来自动化并加速发现和修复软件缺陷。从Edge Case开始，Switchboard就一直是美国陆军通过自主平台提高士兵安全和先进战术能力的重要组成部分。与其他国防和自主技术公司(包括洛克希德·马丁公司)的合作也很快跟进。Switchboard也成为了我与匹兹堡的邻居，也就是后来的合作伙伴Ansys的重要对话的开端。

Edge Case的第二项创新是Hologram，它于2018年被设想为一种检测感知系统弱点的鲁棒性测试引擎。而且，作为2019年OEM协议的结果，它还支持Ansys SCADE Vision，这是Ansys嵌入式软件产品系列的一部分。

由Hologram支持的Ansys SCADE Vision加速了自动驾驶嵌入式感知软件中可能与边缘情况相关的弱点的发现。

在这四个图像系列中，拖车最初被正确识别，但额外的分析表明，它可能是一个遗漏的检测。

在神经网络的幕后

在自动驾驶汽华体会官网app下载新浪车中，感知是许多相互依赖的系统之一，例如运动预测、规划和控制，这些系统控制着车辆的运行。除了感知之外，开发人员已经充分理解并接受了确保这些系统安全的方法。

感知开发人员通常使用驱动-找到-修复方法。检测缺陷需要查看感知算法的输出，并将其与带注释的“ground truth”对象数据进行比较。例如，如果算法未能检测到行人，则过程将是重新训练，重新测试和(可能)重复。

“看着这种颠覆性的自动驾驶技术从我们周围的实验室中涌现出来，我们意识到这是一个绝佳的机会，可以让自动驾驶更安全，更值得公众信任。”
- Phil Koopman博士，Edge Case Research

这种方法对于发展来说是足够的，但是对于确保安全来说是不够的。首先，地面真实数据必须手动标记-每个视频帧中的每个对象。这不仅非常耗时，而且代价高昂。其次，如果检测到差异，分析也不会确定弱点的来源或发生的原因。SCADE Vision不仅解决了这些问题，还提供了一种在更大的自主系统内验证感知的工具。

感知系统的核心是一组传感器和卷积神经网络(CNN)。该网络连接了数百甚至数千个基于软件的神经元(单个处理单元)，这些神经元排列在一系列相连的层中。当处理来自测试车辆的相机传感器数据时，输入层中的神经元捕获图像中的每个像素并为其分配数值。通过这种方式，CNN将图像“视为”像素值的数组。

这些值通过类似过滤器的层，这些层通过一系列代数和矩阵操作来处理每个像素。每一层的决策函数有效地筛选不同的对象特征——直线或弯曲的边缘、颜色、纹理、强度模式等。根据处理像素时做出的分类“决定”，输出层识别对象的存在。它生成对象列表，并在行人、停车标志、汽车等周围绘制相应的边界框。

与传统的软件系统不同，神经网络就像一个黑匣子:很难甚至不可能知道它是如何做出每一个决定的。Edge Case创建全息图正是出于这个原因。管理感知系统的安全性与验证基于规则的计划或控制系统有很大不同。瓦格纳说:“检测行人确实没有任何规则，这就是为什么处理感知系统的安全性与验证基于规则的计划或控制系统如此不同的原因。根据输入的训练数据构建神经网络。”

一个典型的例子是:一个物体检测系统，在城市街道上反复正确地识别行人，却未能检测到建筑工地上的工人。为什么?因为工人的霓虹灯黄背心在培训数据中没有参考。具有讽刺意味的是，高能见度背心导致工人消失。

由Hologram提供支持的Ansys SCADE Vision可以及时回顾，识别单独实时监控无法检测到的边缘情况，从而深入了解神经网络的“黑匣子”。

分析原始的、未标记的数据

在数百万英里的道路上，测试车辆收集了pb甚至exabytes的数据，其中只有一小部分将用于目标检测训练。这是因为必须首先对数据进行标记。注释专家必须在视频的每一帧中绘制框并标记每个对象，这样CNN就可以学习“这是行人，这是汽车”。仅仅标记一小时的驾驶录像就需要大约800个人力小时——这是一项耗费资源、容易出错的任务。

由Hologram提供支持的SCADE Vision不需要标记数据来识别神经网络中的脆弱性。一旦感知算法得到了“令人满意的”训练，SCADE Vision的自动分析就会通过神经网络(称为被测系统或SUT)运行原始视频片段。然后它会稍微修改视频场景。图像可能会被模糊或锐化，但不会达到人类无法识别被改变的物体的程度。SCADE Vision再次通过SUT运行修改后的帧，并逐帧比较修改后的结果和基线结果。

Edge Case Research的产品经理Eben Myers表示，SCADE Vision自动分析的核心在于两组目标检测的比较。这就是软件引擎检测边缘情况并将未标记的测试数据减少到更小的视频帧子集的地方，值得进一步调查。

虽然检测之间的轻微干扰是预期的，但较大的干扰(弱检测)可以预测SUT中的潜在错误(假阴性)。微弱的目标检测表明，软件大脑正在努力做出积极的识别——并做出最佳猜测的决定。另一方面，假阴性则表明遗漏了检测，这是一个实际的失败。

SCADE Vision将这些结果输出到两个相应的显示器中。行程段的图表(视频数据的连续帧)将基线检测显示为灰色条，弱检测显示为橙色，假阴性显示为红色。并且，在每一帧内，类似颜色的边界框(加上绿色的基线检测)围绕着SUT检测到或错过的对象。

分析人员可以从SCADE Vision中学到比实时分析更多的东西，因为它可以智能地显示过去和未来的目标检测。例如，一个边界框在几帧内闪烁橙色，然后变成(并保持)绿色，这提醒分析人员，当对象进入场景时，SUT由于某种原因感到困惑。如果没有这种回顾，分析人员将无法知道绿框对象是否被不一致地检测到。

SCADE Vision还可以发现系统错误(而不是一次性错误)。例如，它们作为一个停止标志出现在几个场景中，成为一个微弱的检测，然后在重新出现和重复模式之前消失。这种检测错误可能由一个或多个触发条件引起——环境、根本原因因素，如眩光、低对比度、嘈杂的背景(树上的叶子)等。SCADE Vision提供了用于识别这些触发条件的分析工具，当这些触发条件与SUT的弱点结合在一起时，就会产生软件可以标记的不安全行为类型。

有了这些工具，分析人员可以向对象数据添加描述性标签，这些标签描述了可疑的触发条件，并有助于揭示检测缺陷模式。分析人员可以使用标记过程的输出来执行预期功能安全性(SOTIF)规定的定量分析，或者对未标记数据中的“感兴趣的对象”进行额外的测试。通过“指向”这些对象，SCADE Vision允许分析人员进行场景测试，例如，是否始终检测到绿叶树前的停车标志。这个过程提供了对可疑系统弱点的更深入的了解，并促进了算法的重新训练。

扩大Av开发

SCADE Vision由Edge Case Research的Hologram提供支持，为开发自主技术的客户提供可扩展性，并与其他Ansys软件集成。它可以与Ansys medini分析配对，以发现和跟踪已识别的触发条件。并且，当与Ansys VRXPERIENCE和Ansys opti俚语结合使用时，它可以在非常多的场景变体中自动对SUT进行鲁棒性测试。SCADE Vision还将与Ansys Cloud和高性能计算(HPC)结合使用，以加速大规模边缘情况的检测。

Edge Case和Ansys在感知领域展开合作，将继续加快全自动驾驶汽车安全、广泛部署的时间表。华体会官网app下载新浪

SCADE Vision的边缘情况检测能力正在推动感知算法的发展，同时在检测发现方面的速度提高了30倍(与手动数据分析相比)。更重要的是，SCADE Vision可以扩展到汽车以外的行业-采矿，航空航天和国防，工业机器人或任何依赖于基于人工智能的视觉和感知软件的应用。