尽管在整个工业自动化领域中，人工智能（AI）的使用正在增加，但许多制造企业仍不清楚其应用和优势。而且除了预测性维护等少数用例之外，很少有制造企业拥有将分析及AI应用于关键业务流程的数据储备与分析人才。
考虑到AI应用程序并不是大多数最终用户会直接与之交互的东西，这不足为奇。即使您可能不需要学习如何与AI交互，但基本了解其工作方式，可能在不久的将来，与了解如何在家里设置WiFi网络一样重要。
为了更好地了解AI为制造业带来的潜在价值，我们需要了解一个我们可能并不熟悉的AI术语——可解释性（explainability）。
为什么需要可解释的AI？
可解释的AI，是指通过一组技术（包括软件代码和用户界面），创建从给定数据到特定决策的人类可读路径。"从本质上讲，这些技术可以将AI开发人员的那种直觉，转化为可理解的、可复制的过程，并可以交付给最终用户。" AI视觉软件的供应商Neurala的首席执行官兼联合创始人Max Versace说。
可解释性对于模型调试至关重要。不管AI的可解释性如何，没人想要部署会产生大量错误的解决方案。最终用户需要知道AI何时会失败以及失败的原因。可解释的AI技术可以帮助企业判断AI是否专注于错误的事情。
例如，为了保证在生产过程中的产品质量，企业在工业相机上部署了深度学习系统。实际应用中发现，AI系统可能会被愚弄，将一些产品归类为正常产品，而事实上，它们是有缺陷的。如果不知道AI系统依靠图像的哪一部分来决定"好产品"与"坏产品"，机器操作员可能会无意中对系统造成偏见。
如果他们一直在红色背景上显示"好产品"，而在黄色背景上显示"坏产品"，那么AI可能会将黄色背景上的任何东西都归类为"坏产品"。但是，一个可解释的AI系统会立即向操作员传达，它正在使用黄色背景作为最能表明缺陷的特征。操作员可以利用这个信息来及时调整设置，使两个对象都出现在类似的背景上。这将不断优化AI系统，并防止可能造成灾难性后果的AI部署。
模型可解释性面临的挑战
虽然基于AI的深度学习模型可以帮助制造企业取得很多实质性进展，但仍然存在一项关键挑战。工厂中往往部署了大量的传感器和计量工具，这可能会使工程师的警报中出现一些不可避免的误报。
传感器读数中瞬态故障的痕迹通常是看不到的。由于大多数生成警报的图像识别模型都是源自深度学习模型，而它们过于复杂以致工程师根本无法理解这些复杂的系统到底如何、以及为何发出警告。对于工程师来说，唯一的办法可能就是对传感器和故障读数进行一系列耗时的研究。
数据存储与管理解决方案供应商Seagate就遇到了这个难题。为了确保使用良好的元件制造磁盘驱动器磁头及芯片，该公司对硅晶片进行了视觉检测自动化，并基于深度学习算法，建立了自动缺陷分类模型。该模型后来被大规模应用在其美国和北爱尔兰的晶圆制造工厂，帮助公司节约了人力成本，提升了良品率和制造流程效率，并使视觉检测准确性从几年之前的50%，提高到现在的 90%以上。
在整个晶圆制造过程中，Seagate会收集到大量显微镜图像，能够借此检测晶圆内部瑕疵并监控制造工具集的运行情况。工厂控制团队使用这些图像素材中的数据建立起一套自动故障检测与分类系统，能够直接从图像当中检测并分类晶圆制造缺陷。
面对大量的、过于复杂的警报信息，工程师们往往感到无从着手。为此，该公司的AI和分析团队开始向工程师提供警报评分，借此预测传感器发生故障的概率。然而，这种评分本身是如何得来，又成了新的谜团。事实上，这类问题在其他深度学习环境中同样屡见不鲜。该分析团队正在努力从两个方面提供更多的AI模型可解释性。
第一种方法是从数据科学层面探索AI模型可解释性的答案。在适用的场景下，可以使用Shapley值（一种评估博弈论中模型中某些特征所产生的具体影响的方法）。该方法在相对简单的模型中效果很好，但是目前需要太多昂贵的计算才能用于深度学习模型。
第二种方法是在现实场景中对可解释性进行更实际的处理，其中涉及建立治理框架，该框架使用三种不同的性能指标将标准软件工程实践扩展为包括对模型行为的控制，包括：
· 运行时错误监控：标准日志系统，用于监控、诊断、解释和警告生产部署模型中的运行时错误；
· 模型性能监控：人机回圈（Human-in-the-loop, HITL）接口，用于领域专家对算法决策结果做出验证，并在数据集上寻找可能解释模型决策合理性的支持证据；
· 后果指标监控：这些指标衡量由于采用机器学习决策而可能受到负面影响的其他因素，例如，不良部件保持率。
这些性能指标能够帮助工程师解释并理解现有模型做出错误决策后可能引发的后果，了解模型性能何时下降，并在必要时及时执行HITL验证。
凭借一系列大获成功的概念验证，整个制造行业开始认真关切并投资于AI领域。但在实际推行中，企业往往发现AI扩展总会带来意外难题。
在AI系统中，大多数的参数和设置都是动态的，都是根据各种各样的反馈系统自我调试和演化的。而且在这个过程中，AI系统的使用者也在与系统产生着互动和影响，我们不仅仅需要能够解释基本AI模型的能力，我们而且需要能够解释复杂AI模型的能力。
可解释AI的四项原则
对令人满意的解释的渴望促使美国国家标准技术研究院（NIST）的科学家提出了一系列原则，帮助人们判断AI决定的可解释性。他们的出版物草案《可解释人工智能的四项原则》（草案NISTIR 8312）旨在通过理解AI的理论能力和局限性以及建立对AI系统的信任。
NIST提出的“可解释AI的四项原则”包括：
· AI系统为所有输出提供相关证据或原因；
· AI系统应向个体用户提供有意义且易于理解的解释；
· 所提供的解释应正确反映AI系统生成输出结果的过程；
· AI系统仅在预设或系统对其输出有足够信心的情况下运行。
NIST电子工程师Jonathon Phillips表示，AI正在参与高风险的决策，没有人希望在不理解原因的情况下让机器做出决策。但是，工程师所满意的解释可能不适用于具有不同背景的人。因此，希望获取多元观点和意见来完善草案。
随着可解释AI的发展，人们可能会发现AI系统的某些部分比人类更能满足社会的期望和目标。理解AI系统以及人类行为的可解释性，为寻求结合两者优势的方法打开了大门。
人类正在试图将关键决策转移给AI。"在评估信任时，他们采取的方法类似于评估是否信任人类同事的方法。当至少满足以下两个条件时，人类就会建立对同事的信任：他们的表现出色，并且能够以一种可理解的方式阐明他们如何获得这一成果的。" Versace说。对于AI而言，同样的精确性和可解释性的组合也将为更广泛的应用铺平道路。
