电子产品世界

用于验证和监控实体人工智能系统的工具具备实际价值，但仍需人工监督，以预防事故发生和异常行为出现。

基于人工智能的工具能助力监控实体人工智能系统和大语言模型，然而为规避误报、偏见及其他异常情况，人工监督仍是必要环节。

对于自动驾驶汽车和机器人而言，极端场景的应对以及对人类价值观的理解是其短板，尤其是在道德与社会价值观随时间不断变化的背景下。

人工智能工具持续发展，在芯片验证以及保障实体人工智能安全所需的功能覆盖率相关应用中，发挥的作用愈发重要。

芯片制造商正愈发多地借助基于人工智能的工具，对广泛应用于边缘场景的半导体进行验证，这些边缘场景涵盖机器人、无人机、自动驾驶汽车等实体人工智能领域。但制造商对该技术始终保持谨慎态度，会限制人工智能的应用范围，并在必要时依靠人工介入，对人工智能的工作成果进行核查。

这些实体人工智能系统与各类大、小语言模型、计算机视觉模型、视觉 - 语言行动模型等深度关联。在多数情况下，人工智能工具会被用于监控这些模型，从海量数据集中筛选出异常信息。

从安全防护的角度来看，让人工智能工具监管与小语言模型、大语言模型相连的实体人工智能设备，看似形成了一个危险的闭环。一旦模型被输入不良或带有偏见的数据，甚至在最坏的情况下，恶意攻击者掌控操作系统并激活自主化的武装无人机，整个系统就极易遭受攻击并出现异常行为。即便在最优情况下，也不应让人工智能工具单独操控人形机器人。至少目前，在实体人工智能系统的设计、验证和监控全流程中，人类的参与不可或缺。

楷登电子验证软件产品管理高级集团总监马修・格雷厄姆表示：“在实现人类完全脱离这一监督闭环之前，要通过一定程度的审查建立起制衡体系。我坚信，参与制衡工作的技术人员会得到人工智能的辅助，也希望事实如此。但目前尚无法确定是否存在可能引发问题的完整反馈闭环，不过当下的制衡机制已然完备，电子设计自动化工具也是保障流程的重要组成部分，能确保无论何种系统，都具备相应的冗余设计和符合要求的功能安全等级。”

但这套制衡体系的有效运行，依赖于实体人工智能企业秉持诚信原则制定必要的安全协议，而这一点并无法得到绝对保证。例如，近期有新闻报道就披露了某企业跳过关键安全步骤的相关隐患。

借助人工智能 / 机器学习工具实现的安全保障，需建立在若干核心支柱之上，且这些支柱需与标准的功能安全生命周期相匹配。想象力科技的工程技术负责人、系统与功能安全工程专家安德鲁・约翰逊指出：“这其中包括危险与风险分析、验证与测试、认证与确认，而针对机器人领域，还需考虑其与人类的互动动态。功能安全领域中，工具的评估与资质认定是常规工作。我们需要思考：工具是否会给设计引入系统性误差？是否会影响硬件设计、软件研发和代码编写？若该工具是验证或确认测试工具，能否信任它准确检测错误、不产生误报？需要考量的问题繁多，这意味着系统复杂度会呈数量级增长 —— 毕竟功能安全技术传统上多用于确定性系统，而非基于统计处理的系统。”

业内其他人士也认同需保持谨慎的观点。是德科技电子设计自动化部门首席安全分析师拉杰什・维莱加拉蒂称：“工程师应将当前的人工智能 / 机器学习工具视为开发工具，这意味着需对工具的使用进行充分测试或资质认定。从这些工具中获取的输出结果，应具备可复现性和可审计性，这可能需要为大语言模型的输入制定相关规则。人类需全程参与，明确目标与风险，并拥有最终的审批权，这一要求适用于安全和安防两大领域。”

换言之，依靠人工智能 / 机器学习工具保障实体人工智能安全的程度存在上限。新思科技产品管理高级总监达纳・纽斯塔特表示：“人工智能是解决问题的一部分，因为我们可以利用它进行监控。最终，我们会部署多个人工智能系统，其中一个可能承担安全监控的角色。若该监控系统具备足够的隔离性，防止被篡改，无论机器人的其他行为是否由人工智能控制，都能显著提升系统的安防水平。”

保护实体人工智能的过程，堪比搭建防火墙。纽斯塔特解释道：“攻击者会想方设法绕过防火墙，一旦他们掌控了防火墙，就将占据极其有利的地位，能够随意修改防火墙配置，操控信息的传输方向。实体人工智能的安全防护与之同理，我们在这一领域不断增加技术复杂度，衍生出诸多新问题，但面临的风险本质上与传统防火墙防护一致，只是在有无人工智能参与的情况下，风险的表现形式有所不同。”

专业的人工智能 / 机器学习程序（即专家系统）已发展数十年，能完成下国际象棋、自动驾驶、蛋白质折叠分析等任务。兰巴斯公司硅安全产品高级总监斯科特・贝斯特说：“简而言之，这些程序都是‘专精型选手’。它们无法像 ChatGPT 那样，与人类进行流畅、毫无违和的对话，却可能为攻克癌症提供助力。在芯片级安全防护方面，我们评估了多款旨在保障微电子设计和验证中防篡改安全功能有效性的专家系统，目前来看，这些系统都尚未成为真正的效能倍增器。当下，使用这些系统完成工作所需的投入，与人工完成同等工作的投入相差无几，但我对其未来发展仍持乐观态度。”

目前，芯片设计师仍需主导实体人工智能的安全防护工作。新突思科技物联网与边缘处理器副总裁兼总经理约翰・韦尔表示：“各类嵌入式安全应用都具有分层特性，我们必须明确搭建的安全防护层级，以及对应的威胁模型。我们为无线产品开发并优化配套软件的过程中，安全始终是核心考量因素。”

语言模型与机器人技术的发展演进

小语言模型和大语言模型发展至现阶段，为下一代机器人的研发奠定了基础。英伟达机器人与边缘人工智能副总裁兼总经理迪普・塔拉在英飞凌举办的十月科技大会上表示，这一发展成果为实体人工智能打造了 “性能尚可的通用型智能核心，就如同 ChatGPT 为数字人工智能领域带来的变革一样”。

实体人工智能的核心技术架构（英飞凌提供）

1. 决策与人工智能的计算和连接技术

• 主计算区算力支持、边缘人工智能技术、功能安全与安防防护

2. 供电与热管理的能源技术

• 电池管理系统、充电模块、冷却系统

3. 环境感知的传感技术

• 音频、视觉、雷达、激光雷达、力传感

• 多传感器融合技术

4. 精准高效运动的执行技术

• 电机控制、执行机构、结构集成

同时，当下先进的仿真技术也成为实体人工智能发展的必要条件。塔拉表示，与真实世界的实验相比，仿真技术更高效、更安全、成本也更低。“但在机器人领域，仿真与现实之间的差距一直较为明显，因此仿真环境中的实验结果，无法完全反映真实世界的情况。如今，大语言模型和仿真技术均已发展至相当成熟的阶段，全球顶尖的科研人员、初创企业、风险投资机构以及大型企业，都开始投身于通用型机器人智能核心的研发难题中。”

人工智能的监督与审计

亚利桑那州立大学计算与增强智能学院助理教授、学习评估与系统自然化实验室主任兰萨卢・塞纳纳亚克，长期致力于机器狗和人形机器人的可信性研究。他指出，人工智能审计工具能提升与实体人工智能相连的语言模型的完整性，但人类必须参与其中，明确模型的失效场景类型。

他介绍道：“我们研发的人工智能审计工具，会通过多种方式对大语言模型进行测试，随后生成常见失效模式的分析报告。我们将报告交由人类技术人员评估，由他们判断‘这种失效模式的危害较大’或‘这种失效模式的影响在可接受范围内’。机器无法独立完成审计工作，因为它无法契合人类的价值观、伦理观等核心诉求；而人类也无法对模型进行全方位测试，因此我们研发了这一可扩展的技术，通过对系统进行各类测试，为人类生成简洁的分析报告。技术人员根据报告，指导工具减少特定失效模式的发生，使系统更贴合人类的价值判断。”

通过反馈闭环，人工智能审计工具能逐步优化，更贴合人类的需求。塞纳纳亚克补充道：“需要注意的是，人类的价值观也会随时间变化，只是变化速度相对较慢。如今被普遍接受的事物，五年后或许就不再被认可。”

想象力科技的约翰逊也认为，人类的价值观和道德观是不可忽视的重要因素。他提出：“我们该如何真正衡量智能？机器学习模型的智能水平其实十分有限，其能力高度依赖于人类为其输入的数据。”

正因如此，应对极端场景成为人工智能 / 机器学习工具监控大语言模型时的一大短板。约翰逊表示：“研发人工智能工具的核心目标，是让其能对未知场景做出可靠应对。危险数据集的规模通常较小，而统计验证技术能通过提供更多元、动态的数据集，以及丰富的输入数据和传感数据，有效弥补这一短板。”

人工智能 / 机器学习芯片验证与功能覆盖率工具

实体人工智能系统的安全防护，必须从半导体层面的功能验证开始，确保安全关键型芯片在任何情况下都能按预期运行。在这一方面，汽车领域与实体人工智能领域的技术需求存在交叉。

人工智能 / 机器学习工具能助力该流程中的多项工作，包括自动化代码分析审查、功能覆盖率检测、架构与规格审查，以及提升验证生命周期的效率，尤其是在应对极端场景的验证工作中。约翰逊说：“基于现有的验证流程和数据集，机器学习技术能识别数据模式，发现尚未覆盖的验证场景，这正是其在极端场景验证中的价值所在。但最终效果仍取决于模型的训练数据 —— 数据质量是否达标、数据量是否充足，且训练数据与测试数据必须相互独立。我们必须避免两者直接关联，否则工具将失去实际价值。”

目前，许多新型人工智能 / 机器学习工具和智能体人工智能工具都聚焦于验证领域，因为这一环节是人类工程师工作流程中耗时最长的部分。一旦企业在验证环节出现失误，将付出高昂的成本，尤其是先进机器人和自动驾驶汽车所使用的芯片，均采用前沿制造工艺打造。

其中，根因分析是验证工作中最大的挑战之一。芯智体公司创始人兼首席执行官威廉・王表示：“在软件领域，每个人都能借助辅助工具开展工作 —— 输入需求、得到输出结果、提出问题、生成代码，发现漏洞后修复，再提交 GitHub 拉取请求即可。但半导体行业有所不同，其技术栈的层级极深，面对海量的代码库进行根因分析时，工作难度会急剧增加。试想，在一家前沿芯片企业研发新款图形处理器时，芯片中包含 100 亿个逻辑门，根本无法将全部逻辑门数据输入单个语言模型。这也是我们需要借助人工智能智能体，探索代码库中的问题、提取关键关联信息的原因。”

芯智体研发的多智能体人工智能根因分析系统，能实现根因分析全流程的自动化。威廉・王介绍：“我们的工具能协助工程师进行仿真实验，检查并优化测试平台，分析日志文件和波形数据，助力工程师修复寄存器传输级代码。”

但设计验证工作始终面临一个终极问题：“谁来验证验证工作本身？”

芯智体公司工程主管梅希尔・阿罗拉提出：“这是一个层层嵌套的循环问题，因为谁才是最终的事实依据？我们能否检查自身规格的一致性？能否验证测试计划与规格要求是否匹配？能否实现从规格到测试计划、再到测试平台的全程可追溯，进而更清晰地把控验证工作的执行主体？”

芯智体将功能覆盖率检测视为人工智能智能体助力工程师节省时间的核心领域。阿罗拉表示：“一个值得探索的问题是，我们能否开发一套系统，生成定向测试用例，使其能跨越多层间接关联环节，最终找到并定位目标测试点。即便存在多层间接关联，该系统也能助力工程师在大型子系统中探索状态空间。”

通过配置人工智能智能体生成定向测试用例，仿真测试的时间大幅缩短，因为定向测试用例在仿真中的运行效率更高。阿罗拉说：“该系统可实现全自主运行，工程师能批量提交任务并在夜间运行，通过算力投入换取工程师的工作时间，这通常是一笔极具价值的交易。”

在一套系统通过多层间接关联环节寻找目标测试点的同时，另一套独立系统会以高度随机的方式，完成通用验证方法学测试平台的搭建。阿罗拉解释：“我们精通约束随机化技术，这是设计验证工程师的核心技术，也是其最常用的工具。”

该大语言模型工具会从相关文件中提取各类信息，其生成的自然语言输出结果能被所有工程师理解。相较于代码的确定性，自然语言虽存在一定模糊性，但阿罗拉认为：“我们必须接受这一缺陷，而这一特性也带来了优势。传统仿真器和形式化验证工具完全不支持自然语言，但我们认为这一交互方式的价值被低估、应用被不足。通过自然语言 —— 包括规格文档、设计文件、测试计划等，我们能更精准地把握研发意图，推动项目进展。”

研发团队的目标，是借助大语言模型的层级处理能力和抽象理解能力，解决功能覆盖率检测中的各类问题。阿罗拉表示：“我们希望部署多个智能体，持续优化测试平台的功能覆盖率，生成定向测试用例，并利用这些用例，完善功能覆盖率模型中尚未覆盖的检测点。”

目前，业内还在研发更多相关工具和方法，包括更高确定性的算法工具、覆盖率数据库解析工具、分支与翻转覆盖率检测工具，以及通用验证方法学测试平台搭建工具。

那么，在保障实体人工智能功能安全的过程中，基于统计的功能覆盖率检测，是否是人工智能 / 机器学习工具的最佳应用场景之一？

想象力科技的约翰逊给出了答案：“说实话，若想把这项工作做好、做透彻，没有任何一个环节是轻松的，这归根结底关乎专业能力。在机器学习领域，验证一个技术概念，或是引入一套全流程或部分环节基于机器学习的工作流程，或许并不困难。但要真正理解其中的危险与风险，精准把握技术改进的细节并进行量化分析，建立起对技术的信心、确保其不会影响安全防护工作，这些都极具挑战性。如果既要做到专业精良，又要坚守安全责任，那么整个过程没有任何捷径可言。但这并不会阻碍行业的探索步伐。”

结语

秉持谨慎态度使用人工智能 / 机器学习工具，不仅能提升数据密集型实体人工智能和大语言模型系统的安全性，还能助力验证驱动这些系统运行的芯片。

是德科技电子设计自动化部门高级总监亚历山大・彼得表示：“人工智能只是自动化技术发展的新阶段，而自动化技术已历经数十年发展。自动化意味着有规可循、有标可依，所有工作内容都能转化为可自动化处理的格式，也就是代码。数字电路、超高速集成电路硬件描述语言、版图与原理图一致性检查等工作，本质上都是基于规则的，且自由度受到严格限制。相关标准已发展数十年，芯片代工厂为防范各类潜在故障，建立起了完善的防护体系。”

将人工智能应用于功能覆盖率检测等领域，是技术发展的自然趋势。彼得说：“这并非跨越式的技术变革，只是让人工智能替代人类编写代码而已，这项工作的落地难度并不大。”

人工智能 / 机器学习工具能承担工作流程中大量重复性、高耗时的任务，也有助于弥补行业人才缺口。楷登电子的格雷厄姆表示：“毫无疑问，行业对验证工具和验证工程师的需求持续增长，人才培养速度已无法跟上行业发展步伐，而人工智能正是弥补这一缺口的重要抓手。我们认为，没有人会因人工智能而失业。实际情况是，当企业需要招聘 10 名工程师却仅能找到 4 名时，人工智能带来的生产效率提升，将至少填补一部分人才缺口。”

但想象力科技的约翰逊强调，无论在何种场景、以何种方式应用人工智能 / 机器学习技术，最终都要回归到人员、流程和专业能力本身，确保所有工作的开展都兼具责任感和可信度。“这个领域的问题艰巨且复杂，因此，无论借助何种工具、采用何种技术，企业都应将重点放在培养工程师团队的专业能力上，搭建完善的框架和流程，确保系统研发和工具应用的合理性与有效性，再逐步布局机器学习领域。”

能否成功应用人工智能 / 机器学习工具，还取决于对模型的理解程度。约翰逊补充道：“这包括了解模型的研发溯源、使用方式、基于自身约束和局限性所输出的信息，以及如何结合其他可能由机器学习生成或非机器学习生成的数据点进行综合判断。颇具讽刺意味的是，借助机器学习工具、数据集和相关信息，企业或许能减少工程师的招聘数量，但我的建议是，必须做好万全准备防范风险，否则问题终将发生。”

关键词： 人工智能 机器学习 实体人工智能 安全防护