电路设计和嵌入式系统中的AI能被信任吗?

（本文编译自electronicdesign）

如今，人工智能几乎渗透到了各行各业。在医疗诊断领域，谷歌DeepMind开发的眼底疾病识别系统，通过分析数十万张视网膜图像，对糖尿病视网膜病变的诊断准确率达到97.5%，超越了平均水平的人类医生；AlphaFold仅用两年时间就破解了困扰生物学界半个世纪的蛋白质结构预测难题，为新药研发节省了数十年的探索时间。

在科技领域，从自动化设计流程到代码生成，它正被用作各种应用的工具，其使用率预计将呈指数级增长。最近的报告显示，人工智能正在替代包括多邻国（Duolingo）、谷歌（Google）、英特尔（Intel）、微软（Microsoft）、英伟达（NVIDIA）、TikTok等数百家大公司中的数千个科技岗位。

虽然人工智能的应用被描述为对工程师和开发人员有益的工具，但最近科技行业的大规模裁员引发了一个问题：这些人工智能工具是否足以取代工人？在设计或编码过程中，人工智能能被充分信任吗？

如ChatGPT、Copilot和Gemini等的人工智能助手，其准确性令人担忧。他们的回应中，51%存在重大问题，其中19%包含事实错误。人工智能搜索工具、翻译应用程序、图像识别、医疗保健领域，甚至刑事司法系统，也存在同样的问题。

那么，在严重依赖人类创新和技能水平的科技行业，人工智能的处境如何呢？工程师和开发人员已经将基于人工智能的电子设计自动化（EDA）工具用于印刷电路板（PCB）和电路设计。然而，由于这些设计的复杂性以及决策过程的要求，人工智能在这方面仍比不上人类的能力，因为它缺乏判断能力。

人工智能：一个强大却令人担忧的工具

机器人与人工智能卓越研究院最近发表的一篇论文，探讨了在安全关键型实时嵌入式系统中人工智能的可信度问题，尤其是那些应用于自动驾驶汽车、机器人和医疗设备的系统。研究人员指出，尽管人工智能（这里具体指深度神经网络）具备强大的能力，但它也引发了一系列严重的担忧，涉及时间不可预测性、安全漏洞，以及决策透明度等方面。研究人员认为，这些问题必须在部署前得到解决。

话虽如此，现代嵌入式平台仍在不断发展，以充分利用异构架构——这种架构集成了中央处理器（CPU）、图形处理器（GPU）、现场可编程门阵列（FPGA）和专用加速器，以满足人工智能工作负载日益增长的需求。尽管如此，资源管理（如进程和线程管理）、时间可预测性的维持，以及任务优化，仍然是亟待克服的重大障碍。

依托复杂人工智能框架运行的GPU，存在调度不可抢占、功耗高和体积大等问题，这限制了其在嵌入式应用中的使用。另一方面，FPGA则凭借更高的可预测性、更低的功耗和更小的外形尺寸，成为了更优的替代方案。但它们也存在一些权衡取舍，包括编程难度大以及资源有限等问题。

近期的技术进展，包括FPGA虚拟化技术，如FRED框架（如图1所示），通过支持动态部分重配置和更优的资源管理，有助于缓解其中一些挑战。

图1：FRED框架为FPGA上可预测软件的设计、开发和执行提供支持。

安全性和可靠性情况如何？

安全性是人工智能在电路和嵌入式系统设计中难以获得信任的另一个重要原因。如今，大多数人工智能系统都构建在通用操作系统之上，如Linux，这类系统容易受到网络攻击。吉普切诺基汽车被黑客入侵事件就是一个典型案例，黑客Charlie Miller和Chris Valasek成功控制了车辆的雨刮器、收音机、转向系统和发动机，使车辆完全停了下来。

为避免此类事件发生，一些研究人员转而采用基于虚拟机监控程序（hypervisor）的架构，包括商用COTS虚拟机监控程序和实时（RT）虚拟机监控程序（如图2所示）。他们将人工智能和安全关键型功能划分到不同的域中，并借助内置的硬件安全特性，如ARM的TrustZone技术，防止一个系统的故障影响到另一个系统。

图2：商用COTS虚拟机监控程序与实时（RT）虚拟机监控程序的对比。

当然，人工智能自身的可靠性也是个问题。深度学习系统很容易被错误输入、能欺骗模型的细微数据调整，或者从未遇到过的分布外（OOD）输入所误导。这些情况可能导致系统做出错误决策，进而引发灾难性后果。在嵌入式系统领域，工程师们需要知道人工智能做出特定决策的原因，而不仅仅是它做出了什么决策。

解释性人工智能（XAI）等解决方案有助于揭示原本如同黑箱般的事件和行为，并且能够发现训练数据中隐藏的偏向性错误。这对于任何工具组合来说都是极具价值的见解，但同样，它并非万能解决方案——没有任何一种方案是万能的。不过，将这些方案结合使用，或许能帮助训练人工智能以安全且极具透明度的方式设计电路和嵌入式系统。

人工智能目前还无法胜任所有任务，无论如何，它也无法通过任何伦理委员会的审核。但未来一二十年，情况可能会彻底改变，届时将出现更先进的训练模型、架构和安全防范措施。我们既需要重视人工智能带来的效率革命，也不能回避其潜藏的风险暗礁，唯有在理性审视中划定信任的边界，才能让技术真正服务于人类。

END