编号	文档
Ref [1]	UL 4600: UL Standard For Safety Evaluation of Autonomous Products
Ref [2]	ISO 26262-6: Road vehicles- Functional safety- Part 6: Product development at the software level
Ref [3]	ISO 26262-8: Road vehicles- Functional safety- Part 8: Supporting processes
Ref [4]	ISO 26262-9: Road vehicles- Functional safety- Part 9: Automotive Safety Integrity Level (ASIL)-oriented and safety-oriented analyses
Ref [5]	ISO / PAS 8800: Road Vehicles — Safety and artificial intelligence

2.2 国内标准和技术规范

本规范参考的国内标准和技术规范如表 2.2 所示。

表 2.2 规范性引用文件

编号	文档
Ref [1]	GB/T 34590.1: 道路车辆功能安全第 1 部分：术语
Ref [2]	GB/T 34590.2: 道路车辆功能安全第 2 部分：功能安全管理
Ref [3]	GB/T 34590.5: 道路车辆功能安全第 5 部分：产品开发：硬件层面
Ref [4]	GB/T 34590.9: 道路车辆功能安全第 9 部分：以汽车完全完整性等级为导向和以安全为导向的分析
Ref [5]	GB/T 43267: 道路车辆预期功能安全
Ref [6]	GB/T 20438 : 电气 / 电子 / 可编程电子安全相关系统的功能安全
Ref [7]	GB/T 44495 ：汽车整车信息安全技术要求
Ref [8]	GB/T 21434 ：道路车辆信息功能安全
Ref [9]	AIOSS 01 ：人工智能深度学习算法评估规范

3 术语缩写与定义

3.1 缩写

表 3.1 列出了本规范中专有名词的英文全称及相应的中文。

表 3.1 缩写

缩写	含义
ASIL	Automotive Safety Integrity Level ( 汽车安全完整性等级 )
GAN	Generative Adversarial Networks ( 生成对抗网络 )
AR	Augmented Reality ( 增强现实 )
VR	Virtual Reality ( 虚拟现实 )
AI	Artificial Intelligence( 人工智能 )
ARM	Advanced RISC Machine( 高级精简指令集机器 )
ASIC	Application-Specific Integrated Circuit ( 专用集成电路 )
CPU	Central Processing Unit ( 中央处理器 )
DAG	Directed Acyclic Graph ( 有向无环图 )
FPGA	Field Programmable Gate Array ( 现场可编程逻辑门阵列 )
GPU	Graphic Processing Unit ( 图形处理器 )
IDE	Integrated Development Environment ( 集成开发环境 )
NLP	Natural Language Processing ( 自然语言处理 )
REST	Representational State Transfer ( 表现层状态转换 )
RFIM	Radio Frequency Identification Middleware ( 射频识别中间件 )
ML	Machine Learning ( 机器学习 )
ReLU	Rectified Linear Unit ( 修正线性单元 )
ResNet	Residual Network ( 残差网络 )
DenseNet	Densely Connected Convolutional Networks ( 密集连接卷积网络 )
DNN	Deep Neural Network ( 深度神经网络 )
AIaaS	Artificial Intelligence as a Service ( 人工智能即服务 )

3.2 术语和定义

技术安全

通过运用各种技术手段，旨在预防或减轻由于车辆智能系统的失效或误判而导致的碰撞、伤害甚至致死事件的发生概率。

数据偏差

在数据集中存在的系统性偏离或不均衡，使得数据不能准确地反映总体的真实情况。

数据漂移

在数据的产生、收集、存储和分析过程中，数据的特征或分布随着时间的推移而发生的变化。

时钟源

一种能够产生稳定、准确时间信号的设备或机制。它为各种电子系统和设备提供时间基准，确保不同的组件和系统在时间上保持同步。

时钟同步

通过特定的技术手段使两个或多个时钟的时间指示保持一致或在规定的误差范围内。

模型泛化能力

机器学习模型对新的、未见过的数据的适应能力和预测准确性。

对抗训练

通过故意对输入数据添加微小的扰动，使得模型在这种被干扰的情况下仍然能够正确地进行预测，是一种提高机器学习模型鲁棒性的技术手段。

配置错误

在系统、软件、硬件或网络等的设置过程中，由于人为或技术原因导致的参数、选项、连接等设置与预期的正确状态不符的情况。

算法阈值

特定算法中用于划分不同结果或决策边界的一个特定值。

恶意操作

故意进行的、具有不良意图且可能对系统、数据、用户或其他相关方造成损害的行为。

闪避攻击

使用特定的策略和手段，使智能驾驶系统难以准确检测、识别或应对潜在的危险。

药饵攻击

攻击者通过向智能驾驶系统提供看似正常但实际包含恶意代码或误导信息的输入数据，诱使系统做出错误决策或被恶意控制。

后门攻击

对智能驾驶系统的软件、硬件或数据中植入特定的漏洞或恶意代码，使得攻击者能够在未经授权的情况下，以隐蔽的方式控制或操纵智能驾驶系统。

模型窃取攻击

攻击者通过各种手段获取智能驾驶系统所使用的人工智能模型的相关信息，包括模型的结构、参数、训练数据等。

网络蒸馏

一种模型压缩和知识迁移的技术。

对抗训练

一种提高模型鲁棒性的技术手段。

对抗样本检测

使用特定的方法和技术来识别输入数据中是否存在对抗样本。

输入重构

对输入到智能系统的数据进行重新构建或调整的过程。

训练数据过滤

对用于训练人工智能模型的原始数据进行筛选、清理和优化的过程。

回归分析

一种统计分析方法，用于研究变量之间的关系，特别是当一个或多个变量 ( 自变量 ) 与另一个变量 ( 因变量 ) 之间存在某种关联时。

集成分析

一种综合运用多种分析方法和技术的分析方法。

差分隐私

对数据集进行查询或分析时，确保单个数据记录的存在或变化不会对查询结果产生显著影响，从而保护数据集中个体的隐私。。

模型水印

一种将特定的标识信息嵌入到人工智能模型中的技术手段。

模型剪枝

一种模型压缩技术。

机器学习模型

采用机器学习方法建立的输入与目标输出联系的计算模型。

机器学习引擎

提供机器学习开发及运行的计算组件。

算法服务

算法在推理部署后的运行态。

注：算法服务接受用户的应用请求，对输入数据进行处理，返回处理结果。

作业

机器学习训练或推理任务的逻辑组合。

注：一个作业属于且仅属于某一个资源池，一个作业包括一个或多个任务。

任务

被调度的训练 /推理对象。

注：任务用于完成一个相对独立的业务功能，一个任务属于且仅属于一个作业。

资源池

各类资源的集合。

ReLU 激活函数

一种在深度学习中广泛使用的非线性激活函数。

损失函数

用来衡量机器学习模型预测结果与真实结果之间差异程度的一种函数。

优化算法

一种用于寻找函数最优解的方法，在机器学习和人工智能领域中，主要用于调整模型的参数以最小化损失函数或最大化目标函数。

正则化方法

在机器学习和统计学中用于防止过拟合、提高模型泛化能力的技术手段。

Dropout 方法

一种在深度学习中广泛使用的正则化方法。

Early Stopping 方法

一种在机器学习模型训练过程中常用的正则化方法，用于防止过拟合并提高模型的泛化能力。

超参数

在机器学习和深度学习模型中，用于控制模型结构和训练过程的参数，在模型训练之前由人工设定

模型解释性

对机器学习模型的决策过程和结果进行解释的能力。

训练集

用于训练机器学习模型或人工智能系统的一组数据样本集合。

推理集

用于对已训练好的模型进行推理（即预测或评估）的数据集。

数据考量

处理数据相关的问题、进行决策或开展项目时，对数据的各个方面进行全面分析和评估的过程。

判定素材

进行判断、评估或决策过程中所依据的各种信息材料。

数据清洗

对数据进行审查和校验的过程，目的是发现并纠正数据中存在的错误、不一致、不完整等问题，以提高数据的质量。

数据标注

对原始数据进行人工处理和标记的过程，以便为机器学习算法提供带有准确标签或注释的训练数据。

数据质量

数据满足特定用途的程度，它反映了数据的准确性、完整性、一致性、时效性、可靠性等多个方面的特征。

数据监测

对特定数据进行持续观察、测量和分析的过程，以了解数据的变化趋势、发现异常情况、评估系统的运行状态，并及时采取相应的措施。

A/B测试

一种用于比较两个或多个版本的产品、设计、营销策略等的实验方法。

审计

由独立的专业机构或人员对特定主体的财务报表、经济活动、管理体系等进行审查、评价和鉴证的过程。

3.3 约定术语

本文档中使用了下列术语：

 “强制性”：表示不允许出现安全案例偏差

 “需要”：表示仅当通过提示证明提示元素与项目和/或其安全案例本质上不兼容时，才允许发生安全案例偏离。

 “强烈推荐”：表示是应该遵循的最佳实践，但可以省略，尤其是对于低风险项目。安全案例中明确指出了遗漏，并提供了合理的支持理由，以提供一个根源，以便将根本原因分析追溯到这些遗漏。只要以合理的理由记录了这些遗漏，就可以认为该安全案例是可以接受的。

 “推荐”：表示这些是可选的提示元素，记录了良好做法和/或有用技术的建议。

 “注”或“示例”：表示的信息仅用于辅助理解或阐明相关要求，不应作为要求本身且不具备完备性。

4 AI 系统融合安全融合开发概述

4.1 概述

本规范的目的是:

a) 提供支撑自动驾驶系统功能安全、预期功能安全和信息安全开发的 AI 系统规范定义和设计的要求。

b) 根据 AI 系统所涉及的安全技术，导出针对于 AI 系统的安全要求。

c) 对导出的融合安全需求输入进行完整性检查与可行性评估，并进行安全需求转换。

d) 建立一个通用的 AI 系统构建并进行系统的验证确认。

e) 对 AI 系统使用的数据提出符合规范使用要求的建议。

4.2 本规范的流程图和结构

主要涵盖了安全需求的导入与转换、 AI 系统架构设计与实现、功能不足 / 性能局限的识别与评估、安全分析、安全措施与功能改进、 AI 系统验证与确认以及数据考量七个主要活动。如图 1 展示了上述七个活动的流程关系，并在后续部分描述了对每个活动的详细开发建议。

$C:\Users\sys002\Documents\WeChat Files\wxid_q08yj2ozx37c22\FileStorage\Temp\1726733589328.png$

图 4.1 AI 安全融合开发规范整体架构

4.3 安全融合开发原理

1730950152412

图 4.2 AI 系统融合安全开发流程

5 AI 系统安全分析

5.1 AI 系统安全分析概述

自动驾驶AI系统安全分析作为一个全面评估自动驾驶AI系统安全性的过程，旨在识别、评估和缓解可能导致 A I系统故障、危险行为、失效或安全漏洞的因素。

本章节的目的是：

a) 针对 AI 系统对系统层级的危害分析和风险评估进行补充，建立人工智能系统危害行为的因果模型 ( 请参阅第 5.2 节 ) 。

b) 分析 AI 系统内部或与其他系统之间可能导致故障发生的原因 ( 请参阅第 5.3 ～ 5.7 节 ) 。

c) 结合当前 AI 系统内生安全面临的风险挑战，补充 AI 系统遭受攻击的防御手段 ( 请参阅第 5.8 节 ) 。

d) 针对安全分析结果进行合理性与完整性验证，为后续 AI 系统设计环节提供信息支持 ( 请参阅第 5.9 节 ) 。

5.2 AI 系统安全因果模型

通过参考 ISO 8800 标准提供的在 AI 系统中应用 ISO 26262 和 ISO 21448 标准的指导 , 增加了 ISO 21434 在 AI 系统中存在的应用情况，建立融合三个标准的人工智能系统危害行为的因果模型。

$C:\Users\sys002\Desktop\底盘综合控制-一汽\九月份 ai开发融合安全规范\图\AI系统安全因果模型-5.1.jpg$

图 5 .1 AI 系统危害行为因果模型

该模型描述了从 AI 系统故障到车辆层级不安全行为的过程，见上图 5.1 中，一条因果链为从触发条件到 AI 要素的安全相关错误，另一条为机器学习模型的安全相关错误可能会导致一下危害行为 ( 这些也正是 ISO 26262 、 ISO 21448 与 ISO 21434 的覆盖范围 ) ：

a) 危险的故障行为 ( 比如非预期的车辆加速 ) ；

b) 合理可预见的间接误用预防 ( 比如汽车油门被当成刹车 ) ；

c) 危险的控制行为 ( 比如汽车行驶中，系统遭到挟持，干扰车辆系统正常运转 ) 。

5.3 AI 系统性失效

5.3.1 应对 AI 系统的数据过拟合导致的系统性失效进行分析，针对导致过拟合的数据数量、模型的复杂程度、模型的训练时间做出如下要求，以提高系统的可靠性并降低系统维护成本：

a) 收集更多的多样化数据，可以让模型学习到更一般的特征，减少对特定训练样本的依赖。

示例：在不同地区、不同天气条件、不同时间收集大量的驾驶数据，包括图像、传感器数据等，以提高模型的泛化能力。

b) 以通过减少模型的层数、神经元数量，或者使用更简单的模型结构。

示例：在智能驾驶中，可以选择一些轻量级的模型，如决策树、支持向量机等，或者对深度神经网络进行压缩和简化。

c) 过长的训练时间可能会使模型过度适应特定的训练场景，而失去对新情况的泛化能力。

示例：应在不同的数据集上进行迭代训练，批面可能使模型逐渐失去对数据的适应性。

注 1 ：过拟合的模型在实际应用中不可靠，因为它不能准确地处理新的数据。在智能驾驶中，这可能会导致错误的决策，增加事故风险。

注 2 ：过拟合的模型需要不断地进行调整和优化，以适应新的数据。这会增加系统的维护成本和时间，降低系统的可用性。

5.3.2 应对 AI 系统的概念漂移导致的系统性失效进行分析，针对导致数据漂移的数据变化以及模型性能做出如下要求，以提高系统的可靠性与安全性：

a) 应持续更新因环境、时间、地域因素导致的数据信息变换。

b) 应提高模型对发生数据漂移时的适应性。

注 1 ：设计具有自适应能力的模型架构，能够根据新的数据自动调整参数和结构。例如，使用深度学习中的在线学习算法，让模型在运行过程中不断学习新的数据。

示例：开发有效的概念漂移检测算法，能够准确地判断数据分布是否发生了变化。

注 2 ：结合多种传感器数据 ( 如摄像头、激光雷达、毫米波雷达等 ) ，提高模型的鲁棒性和适应性。不同传感器对概念漂移的敏感度可能不同，通过融合多种数据可以减少单一传感器数据变化带来的影响。

5.3.3 应对 AI 系统数据偏差导致的系统性失效进行分析，避免在数据收集、处理和使用过程中，由于各种原因导致的数据不公正、不准确或不完整，从而影响智能驾驶 AI 系统的性能和决策：

a) 应需要注意样本的分布情况，避免某些群体或情况被过度代表或代表不足。可以通过随机采样、分层采样等方法，确保数据集中各个类别的样本数量相对均衡。

b) 在模型训练过程中，可以加入公平性约束条件，确保智能驾驶 AI 系统对不同数据群体做出公平的决策。

示例 1 ：训练一个识别交通标志的车载 AI 系统，需要确保数据集中各种类型的交通标志都有足够的样本数量。这样可以避免模型对某些交通标志过度拟合，而对其他标志识别不准确

示例 2 ：使用公平性指标来评估模型的性能，如平等机会差异、平均绝对差异等。如果发现模型存在不公平性问题，可以通过调整模型参数或重新设计算法来解决。

注： 5.3.3 中提到的数据偏差仅为数据的样本偏差，不对标注偏差与环境偏差做出要求

5.4 AI 系统随机硬件故障

5.4.1 应对智能驾驶 AI 系统的硬件组件做出要求，通过对传感器、控制器、执行器进行条件约束，并应包含对于一般性故障的解决方法。

以下涉及可能存在的硬件故障及解决思路：

a) 传感器故障可能包括硬件损坏、电子干扰、环境因素等。为了减少传感器故障的发生，可以采用冗余设计、故障检测和诊断技术、抗干扰措施

b) 控制器故障包括硬件损坏、软件错误、电磁干扰等。为了减少控制器故障的发生，可以采用冗余设计、故障检测和诊断技术、软件可靠性工程等。

c) 执行器故障包括硬件损坏、机械故障、电气故障等。为了减少执行器故障的发生，可以采用冗余设计、故障检测和诊断技术、定期维护和检查等。

注 1 ：对于传感器、控制器、执行器的故障检测和诊断技术还可以采用冗余设计、故障隔离和恢复技术等措施，以提高系统的可靠性和安全性。

5.4.2 在 5.4.1 的基础上对应对 AI 系统各硬件模块通信以及时钟同步做出要求。

a) 应保证 AI 系统所依赖的多种传感器和控制器之间的高速通信，避免数据传输的中断、延迟或者信息错误。

b) 应确保 AI 系统各个硬件组件的精准时间同步，确保数据的准确性和一致性。

注 1 ：有线通信线路的损坏也可能导致数据传输问题，例如车辆内部的线束被磨损、挤压或切断，影响传感器数据和控制指令的传输。

注 1 ：时钟源的故障或不稳定也可能导致系统出现问题。例如，全球定位系统（ GPS ）信号受到干扰或丢失，可能影响车辆的时钟同步，进而影响智能驾驶系统的性能。

5.5 AI 系统功能不足

5.5.1 针对智能驾驶 AI 系统训练数据不足或分布偏差导致模型泛化能力不足的问题，给出以下几点要求，保证模型具有足够的泛化能力：

a) 在模型训练过程中，应用正则化技术，并引入约束条件，对模型的输出进行范围限制以及对模型的参数进行约束。

示例 1 ：通过调整正则化参数，控制模型的复杂度，避免模型过于依赖训练数据中的特定模式。

示例 2 ：对于车辆速度预测模型，限制输出速度在合理范围内，避免出现不合理的高速或低速预测。

b) 采用集成学习方法，训练多个不同的模型，并进行融合 , 可结合不同类型的模型，包括深度学习模型与传统机器学习模型，充分发挥不同模型各自的优势。

示例 1 ：使用不同的神经网络架构、不同的初始化参数或不同的训练算法训练多个模型，然后通过投票、平均等方式进行融合，提高模型的鲁棒性和泛化能力。

示例 2 ：深度学习模型在图像识别方面具有优势，传统机器学习模型在处理小规模数据和解释性方面有一定优势，可以将两者结合起来提高整体性能。

c) 设计能够进行持续学习的模型架构，使模型能够在实际运行过程中不断学习新的数据，适应环境的变化，并建立模型在线更新机制，定期收集新的数据并对模型进行更新和优化。

示例 1 ：采用在线学习算法，让模型根据新的数据实时更新参数。

示例 2 ：每隔一段时间，将新收集的数据加入训练集，重新训练模型或进行微调，以提高模型的性能和泛化能力。

注：使用公开的智能驾驶数据集和实际测试收集的数据集对模型进行交叉验证，以检验模型的泛化能力。

5.5.2 针对智能驾驶 AI 系统模型训练过程中存在偏差，导致对某些群体或场景的识别能力不足，给出一下几点要求，在保证模型具有足够的识别能力的情况下可以覆盖足够多的场景。

a) 主动收集可能被忽视的少数群体或特殊场景的数据，确保数据能够代表真实世界的多样性，训练过程贴近真实世界。

示例 1 ：收集残疾人使用辅助设备出行的场景、偏远地区的道路情况等，以提高模型对这些特殊情况的识别能力。

b) 在模型训练过程中，定期进行偏差检测。通过分析模型的预测结果与真实标签之间的差异，找出可能存在偏差的群体或场景，并针对检测到的偏差，采取相应的纠正措施。

示例 1 ：使用统计方法检测模型对不同群体的预测偏差，或者通过可视化技术观察模型对不同场景的注意力分布是否存在不平衡。

示例 2 ：调整数据权重、重新采样数据、修改模型结构或参数等，以减少模型对特定群体或场景的偏见。可以使用对抗训练等技术，提高模型的鲁棒性和公平性。

c) 分析数据集中不同群体和场景的分布情况，采取数据平衡策略，避免某些群体或场景的数据过少而导致模型偏差。

示例 1 ：对数据量较少的群体或场景进行过采样，或者对数据量较多的群体或场景进行欠采样，使各类数据在训练集中的比例相对均衡。

5.5.3 针对智能驾驶 AI 系统性能指标不足，如识别率、准确率等性能指标未达到，给出一下几点要求，保证模型在不同训练任务中的评估指标满足涉及要求。

a) 选择更适合智能驾驶任务的模型架构。

示例 1 ：对于图像识别任务，可以采用深度卷积神经网络的改进版本，如 ResNet 、 DenseNet 等，以提高识别准确率。

b) 对模型的超参数进行精细调整，如学习率、批次大小、层数、神经元数量等。通过实验和优化，找到最佳的超参数组合，提高模型的性能。

示例 1 ：使用自动化的超参数优化算法，如随机搜索、网格搜索、贝叶斯优化等，提高超参数调整的效率。

5.6 AI 系统操作不当

5.6.1 应避免传感器因操作不当导致的配置错误，如下：

a) 传感器参数配置错误；

b) 传感器校准错误；

c) 传感器安装位置错误；

注 1 ：建立详细的传感器参数设置规范，明确不同场景下各种传感器的最佳参数范围。例如，根据不同的光照条件和行驶速度，确定摄像头的分辨率、帧率、曝光时间等参数。

注 2 ：制定标准化的传感器校准流程，使用专业的校准设备和工具。例如，对于摄像头，采用棋盘格等校准图案进行内参和外参校准；对于激光雷达，使用高精度的测量仪器进行角度和距离校准。

注 3 ：进行详细的安装位置分析和模拟，考虑视野范围、遮挡情况、抗干扰能力等因素。

5.6.2 应对所选择的算法参数进行合理设置，针对算法阈值和融合参数进行特别说明。

a) 结合实际应用场景和数据特点，对超参数进行调整；

b) 建立动态调整阈值的机制，根据实时的驾驶环境和数据变化，自动调整算法阈值；

c) 进行多算法融合的实验和评估，不断调整融合参数，以达到最佳的性能效果。

示例 1 ：对于复杂的驾驶场景和大规模数据集，可以适当增加模型的层数和神经元数量；对于实时性要求较高的应用，可以选择较小的批次大小和较高的学习率。

示例 2 ：在不同的光照条件下，调整摄像头图像的亮度阈值；在不同的交通流量下，调整车辆检测算法的距离阈值。

示例 3 ：对于基于图像的物体识别算法和基于激光雷达的距离测量算法，可以根据不同的场景和任务需求，确定融合的权重和方式。

5 .6.3 应采用高精度的时钟同步设备和技术，确保智能驾驶系统中的各个组件具有一致的时间基准。

5.6.4 应制定详细的系统日志记录规范，明确日志的级别、内容和存储方式。

示例 2 ：对于关键的安全事件和错误信息，设置高优先级的日志记录；对于一般的运行状态信息，可以设置较低优先级的日志记录。

5.6.5 应避免使用者对智能驾驶 AI 系统的错误使用，避免当车载人员未按照系统要求操作时，导致危险情况的发生。

a) 为用户提供关于智能 AI 系统的功能、局限性和正确使用方法的培训。这可以包括在线教程、手册、视频讲解等形式，确保用户了解系统的工作原理和适用范围。

b) 让用户清楚认识到自己在使用智能 AI 系统时的责任。用户应明白他们不能完全依赖系统，仍需保持警惕，随时准备接管控制权或做出正确的决策。

5.6.5 应抵御攻击方对智能驾驶 AI 系统的恶意操作，避免当击者故意干扰系统运行时，导致危险情况的发生。

a) 智能驾驶系统中安装入侵检测软件，实时监测系统的异常行为。例如，检测是否有未经授权的访问尝试、异常的数据流量或系统性能的突然变化

b) 汽车制造商和软件开发商应定期发布安全更新，修复已知的漏洞和安全问题。用户应及时安装这些更新，以确保系统的安全性。

c) 对智能驾驶 AI 系统的通信和数据存储进行高强度加密，确保数据在传输和存储过程中不被窃取或篡改。

5.7 AI 系统网络安全

5.7.1 为有效应对智能驾驶 AI 系统在面临网络攻击时的抵御能力， AI 系统防御网络攻击的描述应满足下列所支持的特征：

a) 有效抵御复杂网络系统的安全漏洞；

b) 大幅缩短对攻击的响应时间；

c) 增强网络安全防御的协作能力。

注 1 ：可通过机器学习和深度学习等方法，从大量的网络流量和日志数据中提取有用的信息，自动化、快速、准确地检测和修复复杂网络系统中的安全漏洞，从而更快发现并解决安全漏洞，提升整体安全防御水平。

注 2 ：人工智能技术可更快实现网络自主监测，发现攻击威胁，大幅缩短响应时间，降低误报率，减少潜在损失，提高网络安全防御的效能。

5.8 AI 系统典型攻击与防御

5.8.1 应考虑到 AI 系统可能遭受到的典型攻击，并给出相应的对抗方法，缓解攻击对 AI 系统的影响程度：

a) 闪避攻击 ( 请参阅第 5.8.2 节 ) ；

b) 药饵攻击 ( 请参阅第 5.8.3 节 ) ；

c) 后门攻击 ( 请参阅第 5.8.4 节 ) ；

d) 模型窃取攻击 ( 请参阅第 5.8.5 节 ) ；

5.8.2 应对 AI 系统遭受到的闪避攻击，给出相应的对抗方法，缓解攻击对 AI 系统的影响。

a) 应识别闪避攻击的不同来源

1) 对抗样本的攻击

2) 物理世界的攻击

3) 传递性与黑盒攻击

b) 针对不同来源的攻击，应选择相应的防御方法

1) 网络蒸馏

2) 对抗训练

3) 对抗样本检测

4) 输入重构

5) DNN 模型验证

注 2 ：以上各个防御技术都有具体的应用场景，并不能完全防御所有的对抗样本。除此之外，也可以通过增强模型的稳定性来防御闪避攻击，使模型在功能保持一致的情况下，提升 AI 模型抗输入扰动的能力。

注 2 ：可以将上述防御技术进行并行或者串行的整合，更有效的对抗闪避攻击。

5.8.3 应对 AI 系统遭受到的药饵攻击，给出相应的对抗方法，缓解攻击对 AI 系统的影响。

a) 应识别药饵攻击的不同方式

1) 最优坡度攻击

2) 全局最优攻击

3) 统计优化攻击

b) 针对不同攻击方式，应选择相应的防御方法

1) 训练数据过滤

2) 回归分析

3) 集成分析

注 1 ：根据数据的标签特性找到可能的药饵攻击数据点，在重训练时过滤这些攻击点，采用模型对比过滤方法，减少可以被药饵攻击利用的采样数据，并过滤数据对抗药饵攻击。

注 2 ：检测数据集中的噪声和异常值。具体方法包括对模型定义不同的损失函数（ loss function ）来检查异常值，以及使用数据的分布特性来进行检测等。

注 3 ：针对多个独立模型共同构成 AI 系统，由于多个模型采用不同的训练数据集，整个系统被药饵攻击影响的可能性进一步降低。

5.8.4 应对 AI 系统遭受到的后门攻击，给出相应的对抗方法，缓解攻击对 AI 系统的影响。

与传统程序不同的是，神经网络模型仅由一组参数构成，没有源代码可以被人读懂，所以后门的隐蔽性更高。攻击者通过在神经网络模型中植入特定的神经元生成带有后门的模型，使得模型虽然对正常输入与原模型判断一致，但对特殊输入的判断会受攻击者控制。

示例：出一种在 AI 模型中嵌入后门的方法，只有输入图像中包含特定图案才能触发后门，而其他人很难通过分析模型知道这个图案或这个后面的存在。

此类攻击多发生在模型的生成或传输过程，对抗攻击的方法如下：

a) 输入预处理

该方法的目的是过滤能触发后门的输入，降低输入触发后门、改变模型判断的风险。

b) 模型剪枝

该技术原理为适当剪除原模型的神经元，在保证正常功能一致的情况下，减少后门神经元起作用的可能性。利用细粒度的剪枝方法，可以去除组成后门的神经元，防御后门攻击。

5.8.5 应对 AI 系统遭受到的模型窃取攻击，给出相应的对抗方法，缓解攻击对 AI 系统的影响。

模型 / 训练数据窃取攻击是指攻击者通过查询，分析系统的输入输出和其他外部信息，推测系统模型的参数及训练数据信息。攻击者可以通过窃取的模型构造对抗样本。

对抗攻击的方法如下：

a) 隐私聚合教师模型

该技术的基本原理是在模型训练阶段，将训练数据分成多个集合，每个集合用于训练一个独立 DNN 模型，再使用这些独立 DNN 模型进行投票的方法共同训练出一个学生模型这种技术保证了学生模型的判断不会泄露某一个特定训练数据的信息，从而确保了训练数据的隐私性。

b) 差分隐私

该技术是在模型训练阶段，用符合差分隐私的方法对数据或模型训练步骤进行加噪

示例：技术是在模型训练阶段，用符合差分隐私的方法对数据或模型训练步骤进行加噪保护模型数据的隐私。

c) 模型水印

该技术是在模型训练阶段，在原模型中嵌入特殊的识别神经元。如果发现有相似模型，可以用特殊的输入样本识别出相似模型是否通过窃取原模型所得。

5.9 AI 系统安全分析验证

5.9.1 需要对 AI 系统进行安全分析，以验证 5.3 ～ 5.8 节中所描述的可能导致违背 AI 系统安全的故障或失效的全面性与合理性。

注 1 ：可以使用 FMEA ， FTA 等分析方法。需要对 AI 系统进行安全分析，以识别可能导致安全要求违背的功能不足 / 性能局限。

注 2 ：需要注意针对故障 / 失效的安全分析，与针对功能不足 / 性能局限的安全分析在活动目标上的区别。

a) 针对故障 / 失效的安全分析，重点关注系统内部或系统之间可能导致系统其预期功能异常的情况；

b) 针对功能不足 / 性能局限的安全分析，侧重于特定场景条件导致预期功能出现风险的情况。

示例：某一用于目标识别的 AI 模型，在给定正确的输入数据的情况下，输出了预期目标列表中的错误分类结果，一般属于功能不足 / 性能局限的范畴。

5.9.2 应按照 GB/T 34590.9-2022 第 8 章在软件层级执行安全分析，目的是：

提供 AI 系统的适用性证据证明具备了相应的 ASIL 等级要求所需的特定的安全相关功能和特性。

注 1 ：安全相关的特殊特性包括独立性和免于干扰。

a) 识别或确认 AI 系统的安全相关部分；

b) 支持安全措施的定义并验证其有效性。

注 2 ：安全措施包括从系统分析中得出的安全机制，并可涵盖与随机硬件失效和 AI 故障有关的问题。

5.9.3 应针对故障 / 失效的安全分析，可以参考系统架构设计中的架构要素与接口定义来支持分析的完整性验证。

注 1 ：包括对于软硬件接口要素的特性要求

a) 中断。

b) 时序一致性。

c) 数据完整性。

d) 初始化：

e) 信息传输：

f) 网络模式：

g) 存储器管理：

h) 实时计数器：

5.9.4 应针对功能不足 / 性能局限的安全分析，若系统自身具备设计运行范围 / 设计运行条件，则可基于设计运行范围 / 设计运行条件来支持分析的完整性校验。

可使用表 5.2 列举的方法，进行适当的方法组合，来识别和评估潜在规范定义不足、性能局限、输出不足和触发条件的校验。

表 5.1 潜在功能不足和触发条件的分析方法

方法
A	需求分析
B	ODD 、用例和场景分析 a
C	事故统计分析 b
D	边界值分析
E	等价类分析
F	功能相关性分析
G	共同触发条件分析 c
H	来自现场经验和经验教训的潜在触发条件分析 d
I	系统架构分析（包括冗余）
J	传感器设计与潜在技术局限分析 e
K	算法及其输出或决策分析
L	系统老化分析 f
M	车辆运行周期内可能的环境变化分析（例如，干扰）
N	内部和外部接口分析 g
O	执行器设计的潜在局限分析
P	事故场景分析 h
Q	可合理预见误用分析 i
a 包括 ODD 边界分析。 b 例如 STATS19 、 GIDAS 、 GES 、 CARE 、 IGLAD 。 c 单一触发条件可以触发多个性能局限或规范定义不足（例如大雨能够影响如雷达、摄像头等不同传感器的性能）。 d 考虑市场上相似系统、先前系统和项目以及客户索赔分析。 e 考虑技术上的局限（例如由于相机成像器、雷达天线设计局限或缺少如密封和振动等环境隔离而导致的较低分辨率）和由于安装位置所导致的技术局限（例如由于传感器未能覆盖车辆周边全部 360° 视野所导致的盲区）。 f 例如在规定范围内由于老化效应而变得暗淡的相机镜头。 g 例如车辆与车辆之间、车辆与基础设施之间、 OTA 地图。 h 例如基于自动驾驶数据存储系统 / 事件数据记录器（ DSSAD/EDR ）中记录进行分析。 i 表 5.1 列出了分析方法。

6 AI 系统安全要求定义

6.1 AI 系统安全要求定义概述

本章的目的是：

a) 通过系统层级分析，导出 AI 系统的安全要求；

b) 制定和推进 / 增强安全要求，以充分涵盖从系统层面收到的 AI 系统技术安全要求；

c) 针对接收到的 AI 系统技术安全要求进行完整形检查与可行性评估；

d) 针对接收到的 AI 系统安全要求进行转换，符合 AI 系统开发与验证确认的要求形式。

6.2 AI 系统安全要求导出

6.2.1 AI 安全要求得出时，应考虑所需的安全相关的 AI 系统功能和特性，其失效可能违背给分配给 AI 系统的技术安全要求。

注 1 ： AI 安全要求或者直接来源于分配给 AI 系统的技术安全要求，或者是对 AI 功能和特性的要求（这些要求如果不满足可能违背分配给 AI 的技术安全要求）。

示例 1 ： AI 安全相关功能可以是：

a) 使标称功能可以安全执行的功能；

b) 使系统达到或维持安全状态或降级状态的功能；

c) 与安全相关硬件要素故障探测、指示和减轻相关的功能；

d) 与操作系统、基础软件或应用软件本身失效探测、指示和减轻有关的自检或监控功能；

e) 在生产、运行、服务和报废过程中与车载测试和非车载测试相关的功能；

f) 允许在生产和服务过程中对 AI 系统进行修改的功能；或

g) 与性能或对时间敏感的操作相关的功能。

示例 2 ：安全相关的特殊特性包括对错误输入的鲁棒性、不同功能之间的独立性或免于干扰、或 AI 系统的容错能力。

注 2 ：安全导向分析可用于识别额外的软件安全要求或为其实现提供证据。

6.2.2 对于预期功能安全衍生的 AI 安全要求应追溯到更高层次的要求、假设和关键场景，或者解决功能不足和触发条件的潜在影响因素 / 根本原因。

注：这个一般要求的目标是在每个要求和被解决的问题之间提供一个清晰的连接 / 链接。

6.2.3 对于预期功能安全和信息安全派生的人工智能安全要求应为其充分性提供适当的理由

注：要求的目标是将经典硬件和经典软件错误重新定向到 ISO 26262 。

6.2.4 对于由于随机硬件故障和经典系统软件故障而导致的不合理风险，满足 ISO 26262 ： 2018 中规定的要求被认为足以证明安全性。

注：允许将附加的要求作为触发条件重新提供给系统集成器和相关的组件级的不足，以便允许进行 SOTIF 分析。
6.2.5 对于预期功能安全，如果人工智能不完全符合从系统层面收到的要求，则应被识别并记录为属性 / 规范的一部分。

注：允许将附加的要求作为触发条件重新提供给系统集成器和相关的组件级不足，以便允许进行 SOTIF 分析。

6.2.6 为支持 ISO 21448 第 13 章的内容，应明确表达和可验证的人工智能安全要求来处理现场操作。

注：此要求可以解决现场观察的不同目标：

a) 监测当前情况下的性能，以便车辆系统调整驾驶任务 ;

b) 监测所需性能并检测未能支持 AI 组件内部的缓解措施 ;

c) 支持 ML-Ops;

示例：阴影模式或不同传感器模式之间的记录设备

d) 表明需要启动另一个 SOTIF 开发周期。

6.2.7 为支持 ISO 21448 第 13 章的内容，应明确表达和可验证的人工智能安全要求来处理现场操作。

6.3 AI 系统要求安全验证

6.3.1 AI 系统每个安全要求都应该有针对性的目标：

a) 解决 AI 系统的安全风险 :

1) 通信安全目标

2) 数据安全目标

3) 软件安全更新目标

b) 识别 AI 系统组件层面不足的影响因素：

1) 传感器准确性和可靠性目标

2) 决策算法合理性目标

3) 控制系统稳定性目标

4) 数据加密目标

5) 硬件防护目标

6.3.2 应对输入的 AI 系统安全要求进行完整性验证，确保后续执行流程的安全性，以下提供的是一种安全要求检验的流程：

a) 确定安全要求的来源；

注 1 ：明确安全要求的来源，例如相关的法规标准、行业规范、最佳实践以及特定的项目需求等。

注 1 ：对于智能驾驶系统，可能需要参考国际汽车工程师学会（ SAE ）制定的自动驾驶等级标准，以及各国的交通法规和安全标准。

b) 划分安全要求的层次；

注：将安全要求划分为不同的层次，例如系统级、子系统级和组件级等，可以更清晰地理解安全要求的结构和关系，便于进行完整性验证。

示例：系统级安全要求可能包括避免碰撞、遵守交通规则等；子系统级安全要求可能涉及感知系统的准确性、决策系统的合理性等；组件级安全要求则可能针对传感器的性能、控制器的可靠性等。

c) 制定安全要求清单；

注：列出所有的安全要求，包括功能安全要求、信息安全要求、预期功能安全要求等。每个安全要求都应该有明确的描述和定义，以便进行验证。

示例：功能安全要求可能包括传感器的检测范围、决策算法的响应时间等；信息安全要求可能包括数据加密的强度、通信协议的安全性等

d) 构建安全要求矩阵。

注：将不同层次的安全要求进行关联和映射。这有助于发现安全要求之间的重复、矛盾或遗漏之处，提高完整性验证的效率和准确性。

示例：构建一个系统级安全要求与子系统级安全要求的矩阵，以及子系统级安全要求与组件级安全要求的矩阵。通过矩阵的分析，可以确定每个安全要求在不同层次上的实现情况和相互关系。

6.3.3 应对输入的 AI 系统安全要求进行可行性评估，确保具有较高的可执行度，避免 AI 系统功能实现困难，以下提供的是一种安全要求的评估流程：

a) 现有技术能力评估；

1) 分析当前智能驾驶领域的技术发展水平，包括传感器技术、算法、通信技术等，确定这些技术是否能够满足输入的安全要求。

示例：对于要求高精度的环境感知，评估现有的传感器（如摄像头、激光雷达、毫米波雷达等）在不同环境条件下的性能。

2) 检查算法的成熟度

示例：如目标识别算法、路径规划算法、决策算法等，看其在处理复杂交通场景和应对突发情况时的表现。

b) 技术瓶颈分析；

1) 识别可能存在的技术瓶颈，即那些可能阻碍安全要求实现的技术难题。

2) 检查算法考虑算法的计算资源需求

c) 成本可行性评估；

1) 估算满足安全要求所需的硬件设备成本

2) 考虑开发满足安全要求的软件所需的人力成本、时间成本和技术难度。

3) 分析将硬件和软件集成到智能驾驶系统中的成本 , 包括测试、调试、优化等方面的费用。

6.4 AI 系统技术安全转换

6.4.1 应对 AI 系统设计提供可量化的安全要求内容，需要定义算法阈值和比较的解决方案。

注：应该为可量化的安全要求提供执行的证据。

6.4.2 在接收到输入的安全要求之后，需要基于 AI 系统的功能进一步将需求转换为能够支持后续 AI 系统开发与验证确认的要求形式。

注 1 ：转换后的要求，可以是功能性要求，也可以是非功能性要求。

示例：性能指标或安全接受准则。

注 2 ：若转换后的安全要求是针对于某一具体系统，应需要识别当前系统其预期功能所包含的设计运行范围 / 设计运行条件。

注 3 ：当前系统的设计运行范围 / 设计运行条件，可以基于系统自身的预期功能，从更高层面的设计运行范围 / 设计运行条件中分析得出。也可以通过设计要求的形式直接分配到当前系统。

6.4.3 并非所有安全要求都需要与系统的设计运行范围 / 设计运行条件进行关联，但需要保证在适当颗粒度层面，设计运行范围 / 设计运行条件的追溯完整性。

示例：某目标识别系统要求在白天对轿车的识别召回率要达到 98% ，则将本要求与设计运行范围 / 设计运行条件中的白天、轿车进行追溯

6.4.4 对于 AI 系统设计需要的安全要求转换的功能性或非功能性要求，应表征和从理论分析 AI 系统组件的具体特性。

注 1 ：应人工智能技术的特定特性的度量值和测量方法。

注 2 ：人工智能技术对这些特性的测量和评估。

7 AI 系统架构设计

7.1 AI 系统架构设计概述

本章的目的是开发满足智能驾驶 AI 系统安全要求的 AI 系统架构：

a) 建立满足安全要求的 AI 系统框架 ( 请参阅第 7.2 节 ) 。

b) 基于智能驾驶系统层级的设计要求，对 AI 系统各组成模块应该具备的功能进行要求 ( 请参阅第 7.3 节 ) 。

c) 针对 AI 系统的模型详细架构提出要求 ( 请参阅第 7.4 节 ) 。

d) 针对 AI 系统的算法提出要求 ( 请参阅第 7.5 节 ) 。

e) 针对 AI 系统的模型选择提出要求 ( 请参阅第 7.6 节 ) 。

7.2 AI 系统框架

7.2.1 AI 系统基本框架

AI 系统提供应用场景所需的各类基础设施，包括各种异构计算单元（例如 CPU 、 GPU 、 FPGA 、 ASIC 等） , 存储（例如分布式云存储），网络等资源，结合实际任务进行分布式调度，提供按需分配、统一智能编排、动态调度、弹性伸缩及自动管理等能力。

通过统一管理、动态更新模型库，提供机器学习算法的开发、训练、部署、运行和管理能力。各类机器学习算法通过有效组合，构成视频、图像、语音、自然语言处理等领域的算法服务，支持智能驾驶领域各种 AI 应用。

以机器学习为基础的 AI 系统框架见图 7.1 ，包括机器学习、多算法管理、异构资源调度等核心能力，提供数据预处理、特征工程、模型开发、模型训练、模型推理服务发布的端到端能力。

$C:\Users\sys002\Documents\WeChat Files\wxid_q08yj2ozx37c22\FileStorage\Temp\1729682668102.png$

图 7.1 AI 系统基本框架

7.2.2 数据管理

数据的全生命周期管理，包含收集、预处理、分析、可视化及访问过程。数据管理包括各类数据源（结构化、半结构化、非结构化数据）的接入，中间数据的管理、最终数据的管理、元数据的管理、数据质量管理、数据的标注，并提供统一的数据管理工具等。

7.2.3 异构资源池

异构资源池统筹管理机器学习所需的各类计算、存储和网络资源。计算资源可包含不同类别的计算硬件，如 CPU 、 GPU 、 FPGA 、 ASIC 等，提供适合与应用场景的运算资源（如高效节能的处理器）。存储资源包括不限于缓存、主存、辅存等各级存储。网络资源包括但不限于异构单元间、计算节点间或集群间的互联网络。

异构资源池支持资源的动态调度、按需（数据规模、算法模型、实时性要求等）分配，满足计算任务的资源需求。资源池能够灵活集成各类计算单元并发挥其各自特性，构建异构计算节点，节点内实现多粒度并行和任务调度，节点间实现协同调度，基于网络提供系统扩展并优化互联性能，支撑部署大规模 AI 计算框架和相关算法

注 1 ：异构资源可以不同形态，如服务器、一体机、边缘计算节点、计算集群和云基础设施等方式提供。

7.2.4 分布式计算调度

分布式计算调度分为任务调度和资源调度。任务调度是根据应用特性和运算需求将应用负载分解成任务，并配置任务执行的顺序和优先级。资源调度依据应用对资源的需求，将合适的异构资源分配给特定任务，满足任务对运算性能和时间的要求。多任务应共享资源以优化资源使用率。

分布式计算调度是人工智能系统的重要能力，在对计算、存储、网络等异构资源的统一纳管的基础上，系统根据资源标签将任务优化调度，以容器形式支持任务的大规模部署。

7.2.5 机器学习引擎

机器学习引擎基于各类机器学习算法（例如统计机器学习、深度学习、强化学习、迁移学习等）进行模型训练与推理。机器学习引擎支持开源的计算框架、算法库，兼容开源的主流接口可根据商用的要求在企业版本中增强或优化。

机器学习算法库为算法提供安全可靠的管理功能，包括算法的注册、存储、下载、评价、优化以及用户鉴权、多版本管理、升级维护、运行监控等。

按算法需求，机器学习引擎提供特征数据的选择、提取、构建等功能。

7.2.6 模型库

模型库提供对机器学习模型开发和存储管理能力。

模型管理包括预置常用的 AI 模型，以及支持模型导入、导出、更新、发布、迁移、版本控制等功能。模型开发通过可视化辅助开发工具、多模型融合开发、模型二次训练等方式支持模型的开发与部署。

7.2.7 算法服务

算法服务是 AI 应用访问、利用机器学习能力和资源的主要方式。为满足应用场景的需求，系统提供类通用算法服务（例如视频、图像、语音、自然语言处理等）。系统提供统一算法服务框架，进行服务管理、服务运行状态监控、服务上线等，并提供一致性的服务接口，智能驾驶领域上层应用调用。

7.2.8 运维管理

运维管理提供系统所需的基本运维（例如安装部署、扩展、监控、告警、健康检查、问题及故障定位、升级和补丁、备份恢复、操作审计等）及管理功能（例如资源管理、权限管理、用户管理、日志管理、配置管理、安全管理等）。

7.2.9 应用层

面向机器学习的 AI 系统可为各类应用（例如智慧交通、智能制造、智慧家庭、智慧城市、车联网等）提供支持，按应用需求提供系统资源，支持企业级、商业级的 AI 应用。

7.3 AI 系统功能要求

7.3.1 数据管理的要求包括：

a) 应支持各类数据源，包括结构化数据（例如传统关系型数据库），半结构化数据，非结构化数据；

示例：图片、音频、视频等。

b) 应支持引入和解析常见文件和数据格式

示例：包括 parquet 、 carbondata 等。

c) 应支持对数据进行标注；

d) 应提供数据生命周期管理，可以对中间数据及产出数据进行增删改查及数据检索等操作；

e) 应提供数据访问及权限控制；

f) 应提供数据 IDE 工具，支持数据可视化；

g) 应支持多种元数据管理方法；

示例：包括数据元信息生成、增删改查、元数据分类、血缘管理等

h) 应支持多种数据预处理手段；

示例：包括数据的聚合、过滤、排序等。

i) 应支持常见的多媒体文件格式的元数据信息获取与管理。

7.3.2 异构资源池的要求包括 :

a) 应支持 GPU 加异构计算单元的架构 , 通过异构计算显著提升计算性能；

b) 应支持异构资源池化，对异构资源模块进行统一管理、配置、编排，提升资源利用率；

c) 应支持以容器化提供资源，利用容器技术对异构资源提供统一调度和管理，支持对接主流深度学习计算框架；

d) 应支持资源池内 GPU 和异构计算单元的不同配比；

e) 应支持中心集群与边缘节点的统一管理；

f) 宜支持大规模高性能计算集群的资源管理；

g) 宜支持异构资源的高性能互联；

h) 宜支持高效节能处理器架构

示例：（例如 ARM 架构）

7.3.3 分布式计算调度的要求包括任务调度的要求与资源调度的要求

a) 任务调度的要求包括：

1) 应支持模型训练和推理的任务调度，支持基于主流开源框架的计算任务；

2) 应支持大规模任务容器化调度，支持系统在物理机或虚拟机上的部署；

3) 应支持任务跨集群调度，本地任务可调度到另一个集群中计算；

4) 应支持基于任务的有向无环图进行计算调度；

5) 应提供任务调度及资源使用的视图；

6) 宜支持定义作业的优先级，支持定时作业、超时作业、重试作业设置。

b) 资源调度的要求包括：

1) 应支持对异构资源池统一调度，支持资源池的动态伸缩；

2) 应支持根据资源标签调度及下发任务；

3) 应支持统一的调度接口，调度不同类型的异构资源；

4) 应支持多级资源池灵活调度和共享；

5) 应提供 GPU 池化，支持分时复用 GPU 资源。

7.3.4 机器学习引擎的要求包括训练和推理的要求：

a) 应支持主流开源计算框架；

示例： Tensorflow ， Caffe ， PyTorch ；

b) 应支持多种类型的统计机器学习算法；

示例 1 ：监督学习算法，包括逻辑回归，支持向量机，梯度提升决策树等。

示例 2 ：非监督学习算法，包括聚类算法，关联规则学习等。

c) 应支持多种类型的深度学习算法；

示例：卷积神经网络 , 递归神经网络等。

d) 应支持主流深度学习框架模型镜像的发布管理、版本管理，以及服务实例、资源的动态伸缩调度；

e) 宜根据算法需求，支持特征的选择、提取和构建。

7.3.5 模型库提供适用于应用场景的模型功能，包括：

a) 应具备模型的导入导出、更新、版本管理、权限控制等基础功能；

b) 应预置常用 AI 模型，集成典型机器学习模型，支持根据输入数据的重新训练，提升模型在应用场景下的效果；

c) 工作流应支持多模型的融合开发；

d) 应提供可视化开发和管理界面；

e) 应基于多租户的权限控制，实现模型的安全管控；

f) 应提供模型封装和发布的能力，通过统一的接口提供模型服务的调用。

7.3.6 算法服务的要求包括：

a) 应提供一种或多种算法服务；

示例：包括图像、视频、语音、自然语言处理等；

b) 应支持在不影响现有算法服务能力的前提下，部署新的算法服务；

c) 应支持算法服务的增删启停、服务版本管理、服务历史记录服务当前状态的查询等；

d) 应支持一种或多种离线服务；

示例：模型自学习服务、批量推理服务等；

e) 应支持一种或多种在线实时服务；

示例：实时推理服务等；

f) 应支持多用户同时使用算法服务；

g) 应支持配置用户权限，控制用户所能调用的算法服务；

h) 应支持同一算法服务的多实例部署；

i) 应支持不同算法服务并发调用，各服务独立运行；

j) 应支持在多用户、高并发情况下的流量负载均衡，保证服务稳定运行；

k) 应提供通用简便的服务上线流程，提供统一服务框架；

l) 应提供统一、易用的算法服务接口框架。

7.3.7 运维管理的要求包括：

a) 应提供多用户管理，支持多用户的权限管理，及支持常用的认证系统；

示例：用户的权限管理的增删改查等操作。

b) 应提供多租户管理，支持租户间的应用隔离、数据隔离、资源隔离、运行隔离；

c) 应提供安装与升级能力，支持分发安装包、数据或模型参数文件，进行安装、升级、扩展和回滚；

d) 应提供备份与恢复能力，支持安装包、数据或模型参数文件的备份，以供故障后的系统恢复；

e) 应提供运行环境的监控能力，包括底层资源的统一监控

示例：包括 GPU 利用率、系统负载等；

f) 应提供日志管理，可以根据日志进行故障定位及排查；

g) 应提供针对监控指标及日志的告警能力；

h) 宜提供主要监控指标的可视化展示功能。

7.4 AI 系统模型要求

7.4.1 针对 AI 系统框架中的 AI 模型部分，其架构设计中还需要包含以下内容：

a) AI 模型其包含组件的详细描述 ( 请参阅第 7.4.2 节 ) ；

b) AI 模型其构成组件之间的接口定义 ( 请参阅第 7.4.3 节 ) ；

c) AI 模型的配置与参数 ( 请参阅第 7.4.4 节 ) ；

d) AI 模型的动静态特性 ( 请参阅第 7.4.5 节 ) ；

e) AI 模型所依赖的第三方组件 ( 请参阅第 7.4.6 节 )

7.4.2 智能驾驶 AI 模型的组件包括多个层次和模块，每个组件都有其特定的功能和作用。以下是对这些组件的详细描述：

a) 激活函数决定神经元的输出是否被激活以及激活的强度。通过引入非线性特性，激活函数使得模型能够学习和拟合复杂的非线性关系，从而大大增强了模型的表达能力。

注 1 ：结合模型的具体应用和任务类型，阐述对激活函数的选择依据。

示例：在处理图像分类任务的 AI 模型中，由于图像数据具有高维度和复杂的特征分布，我们选择了 ReLU 激活函数。

注 2 ：强调激活函数与模型其他组件 ( 如神经元、层结构、损失函数等 ) 的协同工作关系。

注 3 ：可以对不同的激活函数进行性能评估和比较，以说明选择特定激活函数的合理性。

b) 损失函数用于衡量模型预测结果与真实值之间的差异。通过最小化损失函数，我们的目标是使模型能够尽可能准确地预测未知数据的输出。

注 1 ：损失函数应能够准确地反映模型预测的质量。对于分类任务，损失函数应能够区分不同类别的差异，并对错误分类给予较大的惩罚。对于回归任务，损失函数应能够衡量预测值与真实值之间的距离，如均方误差损失函数可以有效地衡量预测值与真实值之间的平均平方差异。

注 2 ：损失函数应具有一定的鲁棒性，能够在面对噪声、异常值或数据分布变化时保持稳定的性能。

注 3 ：损失函数应易于优化，以便通过梯度下降等优化算法有效地调整模型参数。

注 4 ：损失函数应与模型中使用的激活函数相配合，以确保模型能够有效地学习和拟合数据。

注 5 ：选择损失函数时应尽量选择计算简单、高效的函数，以提高模型的训练速度和实时性。

c) 优化方法通过调整模型的参数，最小化损失函数，从而使模型能够更准确地预测输出结果，以适应特定的任务需求。

注 1 ：优化过程必须以最小化潜在风险和提高安全性能为核心目标。

示例 1 ：在训练模型时，优化方法应致力于降低碰撞概率、提高对障碍物的准确识别和及时响应能力

注 2 ：优化方法应考虑将安全相关的指标纳入损失函数中。

示例 2 ：通过设定与最小安全距离相关的惩罚项，促使模型学习到更安全的驾驶策略。

注 3 ：智能驾驶系统对实时性要求极高 , 因此优化方法需要具备快速收敛的特性，以便在有限的时间内完成模型的训练和更新。同时，应尽量降低计算成本，以满足车载计算资源的限制。

注 4 ：智能驾驶环境不断变化，优化方法应支持在线学习，使模型能够实时适应新的路况和场景。

注 5 ：优化方法应使模型具有较强的抗干扰能力以及一定的故障容错性

d) 正则化方法在确保模型的稳定性和泛化能力方面起着关键作用，从而为智能驾驶系统提供更高的安全性保障。

注 1 ：对于智能驾驶 AI 模型，可以考虑使用 L1 和 L2 正则化来约束模型的参数。 L1 正则化可以导致参数稀疏化，有助于选择最重要的特征，减少模型的复杂度。 L2 正则化则可以平滑参数，防止参数过大，提高模型的稳定性。

示例 1 ：在图像识别模块中， L2 正则化可以用于约束卷积神经网络的权重，防止过拟合，提高对不同路况和物体的识别准确性。

注 2 ： Dropout 可以应用于不同的层，如卷积层和全连接层，以减少模型对特定神经元的依赖，提高泛化能力。

示例 2 ：在车辆检测模块中， Dropout 可以帮助模型更好地处理不同光照条件和视角下的车辆检测任务。

注 3 ： Early Stopping 可以根据车辆的实际行驶数据进行验证，确保模型在新的数据上仍然具有良好的性能。

注 4 ：可以通过交叉验证、网格搜索等方法来寻找最优的正则化参数组合。

示例 2 ：对于不同的路况和驾驶场景，可以调整 Dropout 的丢弃率或 L1/L2 正则化的系数，以获得最佳的模型性能。

e) 输入和输出

注 1 ：优化过程必须以最小化潜在风险和提高安全性能为核心目标。

示例 1 ：在训练模型时，优化方法应致力于降低碰撞概率、提高对障碍物的准确识别和及时响应能力

注 2 ：优化方法应考虑将安全相关的指标纳入损失函数中。

示例 2 ：通过设定与最小安全距离相关的惩罚项，促使模型学习到更安全的驾驶策略。

注 4 ：智能驾驶环境不断变化，优化方法应支持在线学习，使模型能够实时适应新的路况和场景。

7.4.3 应对智能驾驶 AI 模型的构成组件之间的接口进行定义，包括传感器与数据预处理组件接口，数据预处理组件与模型推理组件接口，模型推理组件与决策控制组件接口等，以确保智能驾驶 AI 系统的各个组件能够协同工作，实现高效、准确、安全的智能驾驶功能 :

a) 传感器与数据预处理组件接口

1) 应定义传感器数据的传输格式

示例：图像数据可以采用常见的图像格式如 JPEG 、 PNG 等，点云数据可以采用特定的点云格式如 PCD 等。

2) 选择合适的数据接口协议

示例：如 USB 、以太网、 CAN 总线等，根据传感器的类型和数据传输需求确定最佳的协议。

3) 接口定义应明确预处理的要求和方法

示例：对于图像数据，可能需要进行去噪、裁剪、缩放等处理；对于点云数据，可能需要进行滤波、分割、配准等处理。

b) 数据预处理组件与模型推理组件接口：

1) 应定义经过预处理后的数据输入格式，以满足 AI 模型的要求。

示例：深度学习模型通常需要输入特定形状的张量，接口定义应明确张量的维度、通道数、数据类型等信息。

2) 应确定数据从预处理组件到模型推理组件的传输方式

注 : 定义传输的机制和协议，确保数据能够高效地传输并被模型推理组件及时接收和处理。

c) 模型推理组件与决策控制组件接口

1) 模型推理组件的输出数据格式

示例：这可以是离散的动作指令（如加速、减速、转向等），也可以是连续的控制信号（如油门开度、刹车力度、方向盘角度等）

2) 确定输出数据从模型推理组件到决策控制组件的传输方式

3) 应包括决策控制组件对模型推理结果的反馈机制

示例：决策控制组件可以将车辆的实际行驶状态反馈给模型推理组件，模型可以根据反馈信息调整其预测和决策，提高系统的性能和稳定性。

7.4.4 在开发设计智能驾驶 AI 系统模型时，需要综合考虑硬件配置、软件参数、安全与可靠性等方面的要求，以确保模型能够高效、准确地完成智能驾驶任务，并保障行车安全：

a) 硬件配置要求：

1) 计算能力

注 1 ：应具备强大的图形处理单元（ GPU ）或专用的人工智能加速器，以满足深度学习模型训练和推理的高计算需求。

注 2 ：应具有足够的中央处理器（ CPU ）性能，用于协调系统的各个组件和执行非深度学习相关的任务。

2) 存储容量

注：应具备大容量的内存（ RAM ），以存储模型在运行时所需的数据和中间结果。

a) 软件参数要求：

1) 训练参数

注 1 ：确定合适的训练数据集规模和质量。

注 2 ：设置合理的训练超参数。

注 3 ：采用有效的数据增强技术，以增加数据集的多样性，提高模型的鲁棒性。

2) 推理参数

注 1 ：优化模型的推理速度，以满足智能驾驶系统的实时性要求。

注 2 ：设置合适的置信度阈值，用于判断模型的预测结果是否可靠。

7.4.5 针对 AI 系统的动静态特性应满足以下要求，保证智能驾驶 AI 系统的安全与可靠：

a) 动态特性要求：

1) 驾驶系统需要在极短的时间内对周围环境做出反应， AI 模型必须具有高实时性。

2) 智能驾驶系统需要在各种不同的环境条件下运行， AI 模型必须具有良好的适应性。

3) 智能驾驶系统需要在各种复杂的情况下保持稳定运行， AI 模型必须具有高鲁棒性。

b) 静态特性要求：

1) 智能驾驶系统的安全性和可靠性取决于 AI 模型的准确性， AI 必须具有高准确性。

2) 智能驾驶系统需要在长时间内保持稳定运行， AI 模型必须具有高可靠性。

3) 智能驾驶系统的决策过程需要具有可解释性，以便人类驾驶员能够理解和信任系统的决策。

7.4.6 针对 AI 系统所依赖的第三方组件应满足以下要求：

a) 第三方组件必须具备高度的准确性和可靠性，以确保智能驾驶系统的安全运行；

b) 智能驾驶系统对实时性要求非常高，因此第三方组件必须能够在规定的时间内完成任务；

c) 第三方组件应与智能驾驶系统的其他部分兼容，并且能够方便地进行集成和扩展；

d) 第三方组件必须具备高度的安全性和可靠性，以确保智能驾驶系统的安全运行；

e) 第三方组件必须具备良好的故障处理和容错能力；

注：应经过严格的安全测试和认证，确保其符合相关的安全标准和规范。

f) 第三方组件应具备安全更新和维护机制，及时修复已知的安全漏洞和问题，确保系统的安全性和可靠性；

示例 1 ：传感器组件应能够通过在线升级的方式更新固件，修复安全漏洞

示例 2 ：算法组件应能够及时更新算法模型，提高系统的性能和安全性

示例 3 ：通信组件应能够及时更新加密算法和认证机制，确保数据的安全传输。

g) 第三方组件应确保处理和存储的智能驾驶系统数据的保密性、完整性和可用性；

示例：传感器数据在传输和存储过程中应进行加密，只有授权的系统组件才能访问和解密这些数据。同时，应建立数据备份机制，以防止数据因硬件故障或恶意攻击而丢失。

h) 第三方组件与智能驾驶系统其他部分之间的通信应是安全的；

示例：车辆与云端服务器之间的通信应使用安全的传输层协议（如 TLS/SSL ）进行加密，并进行身份验证，确保只有合法的设备和用户才能进行通信。

i) 第三方组件的软件应经过严格的安全测试和漏洞评估，以确保没有已知的安全漏洞；

示例：第三方算法库应进行代码审查，以确保没有缓冲区溢出、 SQL 注入等常见的安全漏洞。同时，应及时更新软件，以修复已知的安全漏洞。

j) 第三方组件的硬件应具有一定的物理安全性，以防止被篡改或破坏。

示例：车载传感器应安装在安全的位置，并使用防篡改的外壳，以防止被恶意攻击者破坏或篡改。

7.5 AI 系统算法要求

7.5.1 应确保智能驾驶 AI 算法在系统开发与设计中的安全性与稳定性，保证 AI 算法可以被系统可靠的使用。

7.5.2 在算法开发过程中，进行全面的验证和测试。包括单元测试、集成测试、系统测试等不同层次的测试，以确保算法的功能正确性。

7.5.3 应利用模拟环境和真实场景数据进行测试，模拟各种复杂的交通状况和意外情况，验证算法在不同情况下的性能和安全性。

示例：使用仿真平台模拟不同天气条件、道路状况和交通流量，对智能驾驶算法进行大规模的测试，发现潜在的问题和漏洞。

7.5.4 应遵循安全设计原则，确保在算法出现故障或异常情况时，系统能够进入安全状态，避免发生危险。

示例：对于关键的决策算法，可以采用冗余的计算模块和传感器，当一个模块出现故障时，其他模块可以继续工作，保证系统的安全性。

7.5.5 应提高算法的可解释性和透明度，使开发人员和监管机构能够理解算法的决策过程。

示例：使用可视化工具展示算法的决策过程，或者采用可解释性的机器学习算法，如决策树、规则模型等，使算法的决策逻辑更加清晰。

7.6 AI 系统算法要求

7.6.1 应先确定智能驾驶 AI 各系统所需的具体功能，考虑 AI 系统对准确性、实时性、鲁棒性等性能指标的要求 , 考虑 AI 系统的硬件资源（计算能力、存储容量、功耗等）和软件资源（操作系统、开发框架等），选择能够在这些资源限制下运行的模型。

7.6.2 应选择具有良好可扩展性的模型，以便在未来能够轻松地添加新的功能或改进性能。

7.6.3 应确保选择的模型与系统的其他组件和技术兼容。

注：参考相关标准和规范，作为 AI 模型选择的潜质条件

7.6.4 应在实际的智能驾驶系统中对选择的 AI 模型进行测试和验证，确保所选择的 AI 模型，满足系统的安全需求。

8 AI 系统验证与确认

8.1 AI 系统验证与确认概述

本章节的目的是：

a) 提出 AI 系统所需要满足功能性、可靠性以及可维护性的验证要求

b) 确保 AI 系统采用合理的验证方法以及测试用例生成方法。

c) 保证 AI 系统的测试环境与实际应用环境高度一致。

d) 明确 AI 系统的测试目标与结果，确保测试结果满足基本测试要求。

e) 确认 AI 系统能够满足最上层安全要求。

8.2 AI 系统验证要求

8.2.1 AI 系统需要满足能使 AI 系统正常使用的功能性、可靠性、可维护性的总体要求：

a) 功能性要求 ( 请参阅第 8.2.2 节 ) ；

b) 可靠性要求 ( 请参阅第 8.2.3 节 ) ；

c) 可维护性要求 ( 请参阅第 8.2.4 节 ) 。

注 1 ：功能性用于评价 AI 模型满足用户对功能需求的能力。

注 2 ：可靠性用于评价 AI 模型及其系统在规定条件下和规定时间内，完成规定功能的能力。

注 3 ：维护性用于评价 AI 模型及其系统易于维护的程度。

8.2.2 根据 GB/T 16260. 1-2006 ， GB/T29831. 1 ， GB/T 29831. 2-2013 ， GB/T 29831. 3 ， GB/T 32904-2016 和 AI 模型的特点，功能性被分成正确性、完备性、恰当性，可迁移性等子特性 :

a) 正确性

采用测试集对 AI 模型功能进行测试，测量 AI 模型的数据精度的满足性、模型设计的正确性、代码实现的正确性、计算结果的正确性等测量元。

示例 1 ：回归任务采用采用 AI 模型预测结果的平均绝对误差（ Mean Absolute Error ）、均方误差（ Mean Square Error ）、均方根误差（ Root Mean Square Error ）等参数进行测量，

示例 2 ：检索任务采用机器学习模型检索结果的精确率（ Precision ）和召回率（ Recall ）。还可采用 F1 值、 ROC 曲线、均值平均精度（ Mean Average Precision ）等进行综合评估。

注：具体参数选择视具体应用场景决定。

b) 完备性

依据功能需求，采用测试集对 AI 模型功能进行测试，检测 AI 模型输出结果，测量功能实现与需求覆盖比、实现功能正交性测量元。

c) 恰当性

采用训练集对 AI 模型进行训练，通过使用不同规模的训练数据、改变训练数据的精度、设置不同的模型参数、采用不同的优化方法等方式，测量机器学习模型的数据处理恰当性、模型设计恰当性、优化算法恰当性、模型实现恰当性、参数设置恰当性、训练操作恰当性等测量元。

8.2.3 根据 GB/T 29832. 1 ， GB/T 29832. 2 ， GB/T 29832. 3 ， GB/T 29833. 1 ， GB/T 29833. 2 ， GB/T 29833. 3 ， GB/T 32904-2016 和 AI 模型的特点，可靠性分为鲁棒性、容错性、易恢复性等子特性 :

a) 鲁棒性

采用对抗攻击、噪声污染等手段生成对抗样本、噪声数据等对 AI 模型进行测量，判断其能否正常运行并返回满足约定格式的运算结果。

b) 容错性

对 AI 模型的数据输入、软硬件运行环境等进行极端或异常干扰。测试 AI 系统能否提示或内部消化在系统层出现的错误，及系统正常运行的能力，测量模型系统的失效的避免性、误操作的抵御性、误操作的危害性等测量元素。

示例 1 ：干扰方式包括运行资源受限性干扰，如强制限制内存使用量、降低中央处理器运行频率、限制处理器核心数量等。

示例 2 ：硬件失效性干扰，如数据采集设备强制失效等。

示例 3 ：对需要保存状态的机器学习模型，采用强制删除状态文件等方式进行干扰。

c) 易恢复性

采用软件故障、硬件故障检测 AI 模型在软硬件出错环境下，修复 AI 系统和数据所需的平均时间。

8.2.4 根据 GB/T 29834. 1 ， GB/T 29834. 2 ， GB/T 29834. 3 ， GB/T 29836. 1 ， GB/T 29836. 2 ， GB/T 29836. 3 ， GB/T 32904-2016 和 AI 模型的特点，可维护性分为规范性、收敛性、易改变性和可验证性等子特性。

a) 规范性

AI 模型的设计和开发应遵循机器学习模型相关的标准或规范，依据 AI 模型约定的规

范，评测 AI 模型设计的规范性、模型训练的规范性、模型测试的规范性等测量元。

b) 收敛性

采用标准训练数据集测量 AI 模型的收敛性，采用不同规模、不同类型训练集对模型进行训练，对模型训练的稳定性、收敛时间和收敛值等测量元进行测量。

c) 易改变性

1) 依据软件开发规范以及开发的平台、语言规范，检查变更说明文档的完整性、模块间的耦合性；

2) 采用软件测试方法，测试阶段 AI 模型系统的缺陷定位以及训练阶段中模型系统修改、模型系统扩充的成本

测量机器学习模型系统的变更说明文档的完整性、模块间的耦合性、变更模块的可验证性等测量元。

d) 可验证性

采用形式化验证方法等测量模型计算过程的可验证性；针对 AI 模型的应用场景和目标，采用关联分析、因果分析等手段分析模型计算结果的意义，测量模型计算结果的可解释性。

8.3 AI 系统验证

8.3.1 应要对 AI 系统进行充分验证，可选用表 8.1 中所列出的验证方法，以确保所实现的 AI 系统符合设计预期。

表 8.1 AI 系统验证方法

方法
1a	走查
1b	检查
1c	控制流分析
1d	数据流分析
1e	静态代码分析
1f	测试
注 1 ：对 AI 系统的安全验证，主要是为了尽可能识别系统中能够造成安全要求违背的系统性失效和随机硬件失效。注 2 ：基于不同的验证目的与对象，其所适用的验证方法可能不同。示例： AI 模型的训练过程与推理过程。

8.3.2 应要对算法功能实现的正确性进行评估。

a) 验证算法实现后的任务指标是否达到设计阶段设定的相应要求；

b) 验证算法实现后的响应时间是否达到设计阶段设定的相应要求。

8.3.3 应要对代码实现的正确性进行评估。

a) 验证代码是否满足相应的编程规范或指南；

b) 验证代码是否存在漏洞。

8.3.4 应要对目标函数的影响进行评估，验证算法的拟合程度对算法可靠性的影响。

8.3.5 应对对抗性样本的影响进行验证：

a) 验证白盒方式生成的样本对算法的影响；

b) 验证黑盒方式生成的样本对算法的影响；

c) 验证指定目标方式生成的样本对算法的影响；

d) 验证不指定目标方式生成的样本对算法的影响。

8.4 AI 系统测试用例

8.4.1 为了能够按照 8.2.1 的要求执行 AI 系统测试而定义适当的测试用例，针对 AI 系统的测试，应使用表 8.2 中列出的方法得出测试用例。

表 8.2 AI 系统测试用例导出方法

方法
1a	需求分析
1b	接口分析
1c	等价类生成与分析
1d	边界值分析
1e	错误猜测
注 1 ：接口分析应具体到 AI 模型的组件层面，例如 backbone 模块与 neck 模块之间的接口。注 2 ：一条测试用例可能涉及多个测试用例得出方法，以测试模型对输入数据的鲁棒性，以便同时涉及接口分析、等价类生成与分析等方法。示例：输入特定维度的图片数组给到 AI 模型，

8.5 AI 系统测试环境

8.5.1 针对系统开发环境与目标运行环境不一致的情况，需要通过测试来验证 AI 系统在目标运行环境下的功能表现一致性。

示例：通过开发环境与目标运行环境之间的背靠背测试来验证一致性。

8.5.2 应考虑 AI 系统测试的测试环境，应考虑目标环境从而使其适合于达到系统测试的目的。如果测试没有在目标环境中执行，应分析源代码和目标代码之间的差异以及测试环境和目标环境之间的差异，来定义后续测试阶段中在目标环境中的附加测试。

注 1 ：测试环境与目标环境之间的差异可出现在源代码或目标代码中。

示例：由于不同处理器的数据字和地址字的不同位宽引起的差异。

注 3 ：软件集成测试可在不同环境中执行，例如：

a) 模型在环测试；

b) 软件再换测试；

c) 处理器在环测试；

d) 硬件在环测试。

8.5.3 应保证联网通信功能测试应在电磁环境不会对测试结果产生明显影响的条件下进行。

8.6 AI 系统测试目标与结果

8.6.1 应针对 AI 系统的测试，需要提供证据证明测试已充分实现测试目标。

注：可以同统计测试对相关度量的覆盖度来证明测试的充分性。

示例： AI 系统组件间的接口覆盖度、 AI 系统内函数覆盖与调用覆盖。

8.6.2 AI 系统的测试结果应根据以下方面进行评估：

a) 与期望结果的一致性；

b) AI 系统安全要求的覆盖率；

c) AI 系统仿真测试与实地测试差异；

d) 不同测试方法的横向对比。

8.7 AI 系统确认要求

8.7.1 应需要对 AI 系统进行确认，以确保所实现的 AI 系统满足输入的最上层安全要求。

8.7.2 应编写 AI 系统的确认策略，并至少包含以下安全相关信息：

a) 安全相关确认目标；

b) 安全相关确认用例 / 数据集构成；

c) 安全相关确认用例 / 数据集其一致性与充分性论证。

注 1 ：一致性是确认用例 / 数据集所涉及的确认范畴与安全要求一致，即不存在确认用例其涉及的功能场景 / 用例与安全要求中声明的功能场景 / 用例之间的偏差。

注 2 ：充分性是在所要求的特定置信度下，确认用例 / 数据集其数量能够满足对应的精度要求。

8.7.3 智能驾驶 AI 系统确认活动的目的是以确保形成的产品和服务能够满足规定的使用要求或预期用途：

a) 确认活动是对于形成的 AI 系统，确认活动发生在 AI 系统生成之后。

b) 确认活动通常需要将 AI 系统放置于实际应用的环境中或者模拟的环境中来看评价是否满足使用要求或预期用途。

c) 确认活动需要客观证据。

8.7.4 应需要对 AI 系统的确认策略与确认测试用例进行验证，以确保其与最上层安全要求之间的一致性以及确认活动的充分性。

示例：可以通过将上层安全要求与确认用例 / 数据集之间进行追溯来确保一致性。

8.7.5 若 AI 系统的确认是通过比较 AI 模型输出与标注真值之间差异来判断是否满足确认目标，则在统计 AI 系统安全相关确认结果时，需要考虑标注精度对确认结果的影响。

9 AI 系统安全措施与功能改进

9.1 AI 系统安全措施与功能改进概述

本章的目的是：

a) 针对避免或缓解 AI 系统风险的安全措施提出安全要求 ( 请参阅第 9.2 节 ) ；

b) 确定适当的架构和开发措施，以确保 AI 功能适合满足其安全要求并优化安全相关属性 ( 请参阅第 9.2~9.4 节 ) ；

c) 针对安全措施的有效性和相关影响进行验证 ( 请参阅第 9.5 节 ) ；

d) 提出 AI 系统功能安全改进措施 ( 请参阅第 9.6 节 ) ；

e) 提出 AI 系统预期功能安全改进措施 ( 请参阅第 9.7 节 ) ；

f) 提出 AI 系统信息功能安全改进措施 ( 请参阅第 9.8 节 ) 。

$C:\Users\sys002\Desktop\底盘综合控制-一汽\九月份 ai开发融合安全规范\图\AI系统安全措施与功能改进-9.1.png$

图 9.1 AI 系统安全措施与功能改进

9.2 AI 系统安全措施要求

9.2.1 AI 系统内使用的 AI 技术的选择应根据确保实现与安全相关的开发运行过程中对 AI 系统的要求。

注：由于缺乏一套适当的方法来确保此类技术的安全性，因此最先进的技术可能不一定最适合与安全相关的应用。

9.2.2 应确保 AI 系统在其目标执行环境中的功能充分性和足够性能的措施得到保障。

9.2.3 应在设计时估计 AI 组件的不确定性，以预测系统部署前的置信度并在部署后对其进行监控。

注：可以使用模型校准方法确认模型在设计期间的置信度。

9.2.4 由 AI 系统或 AI 组件实施 / 实现的技术解决方案，以满足其安全要求和 / 或增强其可信度特征。

注：架构措施对 AI 系统或 AI 组件有实际影响，并导致增强或修改 AI 系统或 AI 组件的架构。

示例：在 AI 组件中添加输出层以进行分类或添加冗余 AI 组件。

9.2.5 针对已识别的安全相关故障 / 失效或功能不足 / 性能局限，需要考虑通过采取安全措施来避免或减缓上述安全相关故障 / 失效或功能不足 / 性能局限所导致的风险。

注：安全措施可以被分为开发措施与架构措施两类。其中开发措施是在系统开发验证过程中适当的流程步骤或活动；架构措施是由系统或系统组件实现的特定技术解决方案。

示例 1 ：通过增加某一场景分布其训练数据集的数量来提升 AI 模型安全相关性能的措施属于开发措施。

示例 1 ：使用多个目标检测模型进行投票的方式来提升 AI 系统安全相关性能的措施属于架构措施。

9.2.6 在不影响 AI 系统安全相关功能的情况下，开发和架构措施之间的重叠是可以在一定程度上允许的。

9.2.7 由于 AI 模型的功能或性能不足或使用它的环境发生了变化，因此无法执行给定任务，因此需要更新或修改 AI 模型。

注 1 ： AI 模型的修改可能具有挑战性，或者可能无法解决灾难性遗忘、灾难性记忆等等问题，由于初始部署时缺乏完整的数据，因此也可能有必要进行修改

注 2 ：为了克服这些问题，可以更新 / 重新训练的 AI 模型需要进行再训练，以确保它们能够再次满足其安全要求。

9.2.8 若所选用的安全措施涉及运行时的安全相关故障 / 异常的检测与处理，可参考 GB/T 34590-2022 系列标准中的要求来定义措施中的安全机制。针对所选安全措施，需要对其措施有效性和相关影响进行分析验证以确保：

a) 所选安全措施能够充分避免或减缓相关故障 / 失效或功能不足 / 性能不足所导致的风险；

b) 所选安全措施没有将新的风险引入系统。

注：可以通过技术评审或测试的方法来验证措施的有效性及其影响

9.3 AI 系统安全开发措施

9.3.1 应采取开发措施来减轻 AI 组件的错误或不安全输出。

注 1 ：不正确或不安全的输出可能意味着 AI 组件的输入分类错误，或者检测或回归不正确。

示例：这些措施可以包括分布内错误检测、分布外错误检测、稳健学习等。

注 2 ：措施需要帮助提高对看不见的输入的泛化和鲁棒性。

9.3.2 开发措施应尽可能合理地解决和改进 AI 组件的可解释性，以建立可信度并帮助验证 AI 系统。

注：注意力 / 显著性 / 敏感度映射可用于调试 ML 组件行为及其决策，从而支持验证。

9.3.3 用于开发 AI 系统或 AI 组件的适当流程步骤 ( 或活动 ) ，以确保满足安全要求和 / 或增强 AI 的可信度特征。

注： AI 系统或 AI 组件的分析，在 AI 组件训练期间或之后使用的特定活动可以是一种开发措施。

9.4 AI 系统安全架构措施

9.4.1 架构措施应确保 AI 组件的故障不会违反分配给 AI 系统的安全要求。

注： AI 系统需要确保根据安全性确保可容忍的残余风险要求。

9.4.2 AI 系统中的架构措施应确保检测和缓解 AI 组件的故障。

注 1 ：一旦检测到 AI 组件的故障，系统可以安全地继续执行任务，可能会有一些性能下降或过渡到安全状态的转变。

注 2 ：可以通过强大的备份功能来实现。

注 3 ：继续任务的备份功能可以基于非 AI 功能或替代性或不太复杂或可解释的 AI 。

9.4.3 在安全措施适用的情况下，架构措施应防止 AI 组件冗余的常见原因故障。

注 1 ：使用不同的 AI 组件可以避免常见原因故障。这里的 “ 不同 ” 指的是为完成某一 AI 功能所选择的不同组件。

9.4.4 一旦检测到 AI 组件的故障，应更新 AI 组件以满足安全分析得出的新要求或修改后的要求。

注 1 ：对于基于 ML 的 AI 组件，更新可能包括架构修改和 / 或部分或重新训练和重新验证。

注 2 ：对于非基于 ML 的 AI 组件，此更新可能需要编程更正或升级。

注 3 ：通常在系统架构开发过程中，需要使用或优先使用可更新的 AI 组件，而不是无法更新的 AI 组件。

9.4.5 架构措施应有助于纠正 AI 组件的不安全行为，同时确保 AI 系统从不安全状态回归安全状态。

注：不安全行为可能是由于回归、学习不需要的功能或学习不需要的行为等而发生的。这也意味着，对于以前成功验证的系统，不存在不安全的行为，并且该行为不会改变。

9.4.6 人工智能系统应支持架构措施，以监控业务领域的分布变化，并检测数据与开发过程中看到的数据相比，两者存在的变化。

注 1 ：分布变化可能由决定运营设计领域的因素发生，例如天气条件、位置、一天中的时间等。监测和检测分布变化的措施可以包括对不确定性的预测。

注 2 ：变化可以在输入和潜在空间变量中。

9.4.7 应对 AI 组件的架构实体及其输出进行安全分析，以确保是否能够充分满足分配给 AI 组件的安全要求。

注：这种安全性分析可以基于 HAZOP 方法。

9.5 AI 系统安全措施验证

9.5.1 应制定一个包含所有关键 AI 安全内容的评估框架，确保框架涵盖 AI 系统的整个生命周期，从数据收集、处理、模型训练到部署和维护。

注 1 ：应考虑相关安全措施所针对的安全修改是否存在风险。

注 2 ：如果一个人工智能系统安全措施的测试结果显示出一个错误，则应使用风险分析方法来评估由该错误引起的风险。

9.5.2 应审查智能驾驶 AI 系统的安全措施，确保在面对各种安全威胁时能够及时有效地进行响应。可以通过模拟安全事件、进行安全演练等方法进行验证。

注 1 ：应定期对安全策略和应急预案进行评估和更新，确保其有效性和适应性。

9.5.3 应对 AI 系统的开发措施进行安全性验证，以确保 AI 系统的质量和可靠性。

9.5.4 应对 AI 系统的架构措施进行安全性验证，以确保 AI 系统的质量和可靠性。

9.6 AI 系统功能安全改进

9.6.1 A I 系统功能安全改进的目的是尽可能地保持或提高系统功能。这些改进内容包括但不限于：

a) 确保不同传感器之间的数据融合准确可靠，避免传感器之间的冲突和错误。

示例 1 ：采用冗余设计，安装多个相同或不同类型的传感器，以提高系统的可靠性。当一个传感器出现故障时，其他传感器可以继续提供信息，确保系统的正常运行。

示例 2 ：对传感器进行定期的校准和维护，确保其性能和准确性。

b) 为传感器设计故障检测和诊断机制，能够及时发现传感器的故障并确定故障类型。

示例 1 ：通过监测传感器的输出信号、电源状态、通信状态等参数来判断传感器是否正常工作。

c) 当传感器出现故障时，系统应能够自动切换到备用传感器或采取其他安全措施，以确保车辆的安全行驶。

d) 提高传感器的抗干扰能力，以确保其在复杂的电磁环境下能够正常工作。

e) 控制器应设计安全机制，如看门狗定时器、电源监控等，以确保控制器在出现故障时能够及时复位或采取其他安全措施。

9.7 AI 系统预期功能安全改进

9.7.1 A I 系统预期功能安全改进的目的是尽可能地保持或提高系统预期功能。这些改进内容包括但不限于：

a) 通过下列方式提高传感器性能和 / 或精度。

1) 改进的传感器技术；

示例 1 ：提高传感器测量的精度；

示例 2 ：更新为新的和改进后的传感器，以解决已知的局限。

2) 改进传感器扰动探测机制，以触发适当的报警和降级策略；

3) 多样化传感器类型；

示例 3 ：增加额外的感知装置，以适当的方式调高覆盖率。

4) 改进的传感器标定和安装；

示例 4 ：针对具有潜在的性能局限的临界情况，将传感器安装在合适的位置提高覆盖率。

示例 5 ：封装传感器以避免或减少干扰，从而达到可接受的水平。

示例 6 ：进入传感器覆盖率分析，并优化传感器的选择（类型、技术、数量）及其在车内的相对位置。

5) 传感器遮挡探测及清洗方法。

示例 7 ：使用边缘探测方法探测摄像头上的污垢，并用液体和雨刷器清洗。

b) 通过改进执行器技术，提高执行器的性能和 / 或精度（例如，提高精度，延长或限制输出范围，减少响应时间，可重复性，对能力进行仲裁，利用其他功能来辅助或增加新的执行器来辅助）。

c) 通过算法改进，提高识别和决策算法的性能和 / 或精度。

示例 8 ：改进的传感器识别算法 [ 例如，改进相机图像中探测对象的特征描述，如 HOG （定向梯度直方图） ] 。

示例 9 ：考虑模型中额外的输入信息。

示例 10 ：改进算法以提供更好的鲁棒性、精度（例如，从线性模型切换到非线性模型或使用机器学习）（见 ISO 21448 附录 D.2 ）

示例 11 ：随着计算能力的提升，加快图像处理速度（例如，使用机器学习加速器或运行高效的硬件）。

示例 12 ：超出 ODD 的识别（例如，识别高速公路出口坡道的方法）。

示例 13 ：识别已知的不支持的环境条件（例如，根据地理位置、一天中的时间、季节等，预测遇到太阳眩光的情况）。

注：在执行高级算法时，可考虑提升硬件性能。

d) 突出自车的可见性，以在自车发生危害行为时，提高其他交通参与者的可控性。

示例 14 ：在当地法规允许的情况下，安装反光板、开雾灯、开转向灯、主动发出声响等。

9.7.2 在实施 SOTIF 措施后，根据自动驾驶等级，监控和评审对于确保 SOTIF 措施的有效性非常重要的，为了支持这一点，在设计系统时可考虑一些方面。这些考虑包括但不限于：

a) 对 SOTIF 相关系统行为的可测性；

b) 对 SOTIF 相关系统行为的诊断能力；

c) 对 SOTIF 相关系统行为的数据监控能力。

9.8 AI 系统信息功能安全改进

9.8.1 A I 系统信息功能安全改进的目的是尽可能地保持或提高系统信息功能。这些改进内容包括但不限于：

a) 对于每一个与 AI 系统有关的网络安全事件，应制定网络安全的应对计划；

1) 制定相应的补救措施；

2) 制定沟通计划；

注 1 ：沟通计划的建立可以涉及内部有关各方，如市场或公共关系、产品开发团队、法律、客户关系、质量管理、采购等。

注 2 ：沟通计划可以包括确定内部和外部的沟通伙伴，并为这些受众开发具体信息。

3) 为补救行动分配的责任；

4) 记录与网络安全事件有关的新网络安全信息的 AI 程序；

5) 确定网络安全事件的进展；

6) 结束网络安全事件响应的标准；

7) 采取行动进行关闭。

b) 应执行针对于网络安全事件的应对措施；

1) 在系统设计阶段就考虑网络安全因素，采用安全的架构和设计原则；

示例：进行安全分区，将关键系统与非关键系统隔离，限制网络访问权限等。

2) 采用加密技术保护通信和数据存储，确保数据的机密性和完整性；

示例：使用 SSL/TLS 加密通信，对存储的数据进行加密。

3) 及时更新系统软件和固件，以修复已知的安全漏洞。建立安全更新机制，确保车辆在使用过程中能够及时接收安全更新；

4) 对第三方软件和组件进行严格的安全审查，确保其安全性。

5) 部署入侵检测系统（ IDS ）或入侵防御系统（ IPS ），实时监测网络流量和系统活动，及时发现潜在的网络攻击。

6) 建立异常检测机制，通过分析系统的行为和数据模式，发现异常情况。

10 AI 系统数据考量

10.1 AI 系统数据考量概述

本章节的目的是 :

a) 确保 AI 系统所需要的数据准确无误。

b) 确保数据应尽可能完整，涵盖各种可能的情况和场景，减少数据缺失对、 AI 系统性能的影响。

c) 确保数据在不同的来源和时间点上应保持一致。

d) 确保数据应具有不同的来源、类型、特征等，并且样本数量可以满足 AI 系统的需求。

e) 确保数据的定期更新、清理及数据安全，防止数据泄露和滥用。

$C:\Users\sys002\Documents\WeChat Files\wxid_q08yj2ozx37c22\FileStorage\Temp\1729512846189.png$ 图 10 .1 AI 系统数据考量章节结构图

10.1.1 AI 数据质量是为了满足 AI 系统对数据的准确性、完整性和一致性要求。

注 1 ：确保数据准确无误是至关重要的。错误的数据可能导致 AI 系统做出错误的决策。通过数据验证、交叉核对等方式来提高数据的准确性。

注 2 ：数据应尽可能完整，涵盖各种可能的情况和场景。缺失的数据可能会使 AI 系统的性能受到影响。

注 3 ：数据在不同的来源和时间点上应保持一致。不一致的数据可能会导致 AI 系统的混乱和不稳定。

10.1.2 AI 数据数量是 AI 系统进行模型训练和优化的基础。

注 1 ：足够的样本量可以提高模型的泛化能力，使其能够更好地适应不同的情况。

注 2 ：数据应具有多样性，包括不同的类型、来源、特征等。多样性的数据可以帮助 AI 系统学习到更广泛的知识和模式。

10.1.3 AI 数据标注是对开发过程中对数据有依赖的 AI 系统，基于最上层安全要求与开发需求，编写的标注规范。

注 1 ：需要对标注规范进行验证，以确保规范满足最上层安全要求与开发要求。

注 2 ：需要对标注后的数据进行验证，以确保数据符合规范要求，如完整性、准确性等。

10.1.4 AI 数据更新与维护可以确保人工智能系统始终拥有准确、完整、及时且高质量的数据，以持续提升其性能和可靠性，更好地适应不断变化的应用场景和需求。

注 1 ：需要定期清理数据中的错误、重复和过时的信息，以提高数据的质量和可用性。

10.1.5 AI 数据监测与评估通过对数据的持续观察和分析，及时发现问题、确保数据质量，为提升 AI 系统性能和可靠性提供依据。

10.2 AI 数据质量

10.2.1 应基于智能驾驶 AI 系统最上层的安全要求与开发需求进行精确的需求定义，应包括以下几个方面：

a) 明确智能驾驶所需的数据类型，包括道路图像、车辆传感器数据、交通标志信息、路况动态变化等。

b) 确定数据的具体范围，涵盖不同天气条件、不同道路类型、不同交通流量等场景。

c) 详细规划所需数据的特征。

示例：图像的分辨率要求、传感器数据的精度标准等。

10.2.2 应对数据来源进行严格筛选，可以为后续的数据处理和 AI 系统应用奠定坚实基础。

注 1 ：只选择具有高可靠性的数据源，如专业的交通数据采集机构、权威的汽车制造商测试数据等。

注 2 ：确保数据源的稳定性，避免因数据源的波动或中断影响数据收集的连续性。

注 3 ：筛选原始传感器数据（如摄像头图像、激光雷达点云等），去除模糊、失真、光照异常等可能影响标注准确性的数据。

注 3 ：对不同场景下的数据进行分类筛选，例如高速公路、城市道路、乡村道路等，确保各类场景数据比例合理，以提高模型对不同环境的适应性。

10.2.3 应建立数据异常检测机制，自动识别可能存在错误的数据点，如坐标异常、物体尺寸不合理等，并及时进行人工复核。

10.2.4 应使数据的多样性得到保证，提供 AI 模型足够的学习以及判定素材，使其能够在各种条件和环境下工作。

注 1 ：收集来自不同地域的数据，以适应各种地理环境和交通规则的差异。

注 2 ：涵盖不同时间段的数据，包括白天、夜晚、高峰时段、非高峰时段等，以应对不同光照和交通状况。

10.2.5 在数据预处理阶段，应对采集的 AI 数据进行高效的数据清洗，并对噪声数据、异常值和重复性数据等进行处理。

注 1 ：清除传感器的异常波动、图像中的干扰像素等，确保数据的纯净度。

注 2 ：消除重复数据，节省存储空间和计算资源，提高数据处理效率

10.2.6 在数据预处理阶段，应对采集的 AI 数据进行严格的标准化，包括但不限于以下方面：

a) 对不同类型的传感器数据进行统一的单位转换和尺度调整。

b) 确保图像数据的分辨率、色彩空间等参数符合系统要求。

10.2.7 在数据预处理阶段，应对采集到的缺失数据进行人工或者机器填补。

注 1 ：采用科学合理的方法进行填补，如基于统计模型的插值法或基于邻近数据的推断法。

注 2 ：填补后的数据应尽可能接近真实值，且不会引入新的偏差。

10.2.8 在数据标注阶段，应确保标注数据的准确性、一致性和完整性。

注 1 ：确保标注的信息与实际情况完全相符，对于道路上的各种物体、交通标志、交通信号等的标注不能有错误。

注 2 ：严格按照标注规范进行操作，避免主观因素影响标注结果。

注 3 ：对标注结果进行反复核对和验证，确保准确性达到较高水平。

注 4 ：定期对标注结果进行一致性检查，及时发现和纠正不一致的标注。

注 5 ：对数据中的所有关键信息都进行标注，不能有遗漏。

示例：对于道路上的每一个障碍物、每一个交通参与者都要进行准确标注。

注 6 ：确保标注的信息足够详细，能够为智能驾驶系统提供全面的决策依据。

10.2.9 在数据标注存储阶段，应对数据安全加以保证，通过采用高级别的加密技术、建立严格的访问控制机制或定期进行安全审计等技术。

注 1 ：应确保存储的数据不会被未经授权的访问、窃取或篡改。

注 2 ：发现和修复潜在的安全漏洞。

10.2.10 在数据标注存储阶段，应对关键数据进行备份，从以下几个方面入手：

a) 制定完善的数据备份策略，包括定期备份和实时备份，以防止数据丢失。

b) 确保图像数据的备份数据应存储在不同的物理位置，以应对可能的灾难事件。

c) 定期测试备份数据的可用性，确保在需要时能够快速恢复。

10.2.11 在数据标注存储阶段，应对所存有的数据版本管理提出要求。

注 1 ：明确版本升级的流程和规范，确保数据的一致性和兼容性。

10.3 AI 数据数量

10.3.1 对于智能驾驶 AI 系统数据收集渠道应保证具有多元化的要求，并应具备如下的特性：

a) 合法性

b) 准确性

c) 时效性

d) 多样性

注 1 ：对于网络数据抓取，要严格遵守网站的使用条款和 robots.txt 协议，避免非法获取数据。

注 2 ：内部数据应经过严格的验证和审核，确保其真实性和完整性。

注 3 ：收集的数据应涵盖各种不同的场景、路况和驾驶行为 , 以提高 AI 系统的适应性和鲁棒性。

10.3.2 在对使用者的车载数据收集使用时，应确保车辆使用者的个人信息、用户身份、车辆位置等敏感信息不被泄露或滥用。

10.3.3 应对智能驾驶 AI 系统的持续性数据采集与更新作出要求，符合对于 AI 数据所具备的时效性、准确性、完整性以及安全性。

示例 1 ：利用多种传感器，如摄像头、激光雷达、毫米波雷达、 GPS 等，进行数据采用不同传感器可以提供不同角度和类型的信息，相互补充，提高数据的准确性和完整性。

示例 2 ：通过车联网技术，车辆可以接收其他车辆发送的路况信息、危险预警等。

10.3.4 应制定明确的数据更新策略和机制，根据智能驾驶系统的需求和实际情况，确定数据更新的频率和方式。

示例：可以根据路况变化、季节变化等因素，动态调整数据更新计划。

10.3.5 对于部分测试场景可能存在使用数据扩充技术的要求，特别地对于道路状况、交通标志、车辆行为、车辆间交互信息等应保证尽可能地符合真实驾驶场景，确保智能驾驶 AI 系统在训练中接触到的场景与真实世界高度相似。

注 1 ：要求合成数据生成算法能够准确模拟各种实际情况。

注 2 ：增强后的数据也不能脱离实际。

示例：对图像进行随机裁剪等操作时，要保证裁剪后的部分依然符合真实驾驶中可能出现的视角和场景。

10.3.6 针对于某一个特定测试要素进行场景测试时，在进行数据扩充时，应保证其能涵盖除测试要素外的其他场景要素或与测试相关的其它要素。

注 1 ：应涵盖各种不同的天气条件，如晴天、雨天、雪天、雾天等，让智能驾驶 AI 系统能够适应不同的气象环境。

注 2 ：应包括不同的道路类型，如高速公路、城市道路、乡村道路等，以及不同的路况，如平坦路面、崎岖路面、施工路段等。

注 2 ：应涉及不同的交通状况，如高峰时段的拥堵、低峰时段的顺畅、交通事故场景等。

10.3.7 进行数据扩充的过程中不能引入可能导致安全风险的错误信息，应确保增强或合成的数据不会对智能驾驶 AI 系统的安全判断产生负面影响，始终以保障行车安全为首要目标。

示例：不能错误地标注交通标志或误导车辆的行驶决策。

10.3.8 对扩充的数据进行详细记录和标记，以便在出现问题时能够追溯到原始数据和扩充的过程，便于分析和改进。

10.3.9 应建立反馈机制，根据智能驾驶系统在实际测试和应用中的表现，不断调整和优化数据扩充技术。

示例：如果发现系统在某种特定场景下表现不佳，可以针对性地扩充该场景的数据。定期更新数据扩充策略。

10.3.10 应结合先进技术改进合成数据的质量和多样性。通过不断优化算法，创建更加复杂和真实的虚拟驾驶场景，为数据扩充提供更多的可能性，如表 10.1 所示。

表 10.1 先进数据生成方法

序号	方法
1	生成对抗网络 (GAN)
2	虚拟现实 (VR)
3	显示增强技术 (AR)

注 1 ：将扩充的数据应用于智能驾驶 AI 系统训练之前，进行严格的安全验证。可以通过模拟测试、对比实验等方式，确保扩充的数据不会对系统的安全性造成威胁。

10.4 AI 数据标注

10.4.1 应明确标注对象，确定需要标注的智能驾驶场景元素，并标明被标注元素属性，对于每个标注对象，明确具体的属性标注要求。

注 1 ：场景元素包括：车辆、行人、交通标志、信号灯、道路标线等。

注 2 ：标注对象属性：对于车辆，标注其类型 ( 轿车、卡车、公交车等 ) 、颜色、速度、行驶方向等；对于行人，标注其性别、年龄范围、行动状态 ( 行走、站立、奔跑等 ) 。

10.4.2 应明确标注对象，确定需要标注的智能驾驶场景元素，并标明被标注元素属性，对于每个标注对象，明确具体的属性标注要求。

注 1 ：场景元素包括：车辆、行人、交通标志、信号灯、道路标线等。

注 2 ：标注对象属性：对于车辆，标注其类型 ( 轿车、卡车、公交车等 ) 、颜色、速度、行驶方向等；对于行人，标注其性别、年龄范围、行动状态（行走、站立、奔跑等）。

10.4.3 应使用统一的标注方法，规定使用的标注工具和标注格式，确保标注的一致性。

示例 1 ：采用特定的标注软件，使用特定的颜色代码或符号来表示不同的标注对象和属性。

10.4.4 应提供场景上下文标注，除了对单个对象进行标注，还应考虑场景的上下文信息，以便 AI 系统更好地理解驾驶场景。

10.4.5 应根据智能驾驶的重要性和紧急程度，确定不同标注对象的优先级。

示例 1 ：对于可能影响行车安全的行人、车辆和交通标志应优先标注。

10.4.6 应建立合理的审核机制，制定详细的审核标准，包括标注的准确性、一致性、完整性、合理性等方面的要求。

10.4.7 应根据智能驾驶 AI 系统的实际应用反馈，定期对标注数据的质量和效果进行评估，并根据评估结果，及时对标注规范和流程进行优化和改进：

a) 调整标注对象和属性的定义

b) 改进标注方法和工具

c) 提高审核效率

10.5 AI 数据更新与安全

10.5.1 应对 AI 系统的数据更新周期进行合理调整，并应跟据相关数据的实际变化情况和 AI 系统的性能表现，动态的调整更新频率。

注 1 ：根据 AI 系统的应用场景和数据变化速度，确定合理的更新周期。如果发现数据变化较快或系统性能下降，应及时加快更新频率。

注 2 ：通过设定合理的数据范围、格式规范等，自动识别明显错误的数据，如超出传感器正常测量范围的数据、格式不符合要求的数据等。在清理错误数据的同时，记录错误数据的来源，以便后续对数据采集环节进行改进和优化。

注 3 ：使用数据处理工具或算法，自动清理重复数据，保留唯一的数据记录并定期进行重复数据检查，确保数据的唯一性。

10.5.2 应对 AI 系统的数据时效性做出保证，对过时以及无效数据进行清理。

a) 根据智能驾驶 AI 系统的需求，确定不同类型数据的时效性。

b) 根据数据的时效性，自动标记过时数据。可以使用时间戳、版本号等信息来判断数据是否过时。

c) 根据智能驾驶 AI 系统的功能和需求，定义哪些数据为无效数据。

d) 对于识别出的无效数据，及时进行清理，并记录清理的原因。

注 1 ：按照既定的清理标准和周期，定期对数据进行清理。可以使用自动化工具或人工审核的方式进行清理，确保数据的质量和可用性。

注 2 ：记录清理过程和结果，以便进行审计和追溯。确保清理操作的合法性和合理性，防止误删重要数据。

10.5.3 应对 AI 数据的访问进行控制，保证数据安全。

a) 实行严格的用户身份认证机制，确保只有授权人员能够访问智能驾驶 AI 系统的数据。

b) 用多因素认证方式，如密码、指纹、令牌等，增强访问的安全性。

c) 对不同级别的用户设置不同的访问权限，如管理员、工程师、操作员等，明确各自可操作的数据范围。

d) 定期审查用户权限，根据人员岗位变动及时调整访问权限。

注 1 ：建立严格的访问控制机制，限制对数据的访问权限。只有经过授权的人员才能进行数据的更新和维护操作，防止数据被非法篡改或泄露。

10.5.4 应对敏感数据进行加密存储，确保数据在传输和存储过程中的安全性。使用可靠的加密算法和密钥管理机制，保护数据的机密性。

a) 对智能驾驶 AI 系统中的敏感数据，如车辆位置信息、行驶轨迹、用户个人信息等进行加密存储。

b) 使用高强度的加密算法，确保数据在存储和传输过程中的安全性。

c) 对加密密钥进行严格管理，定期更换密钥，防止密钥泄露。

d) 采用端到端加密技术，确保数据在从车辆终端到服务器的传输过程中始终处于加密状态。

10.5.5 应定期对数据进行备份，以防止数据丢失。建立完善的备份策略和恢复机制，确保在数据出现问题时能够及时恢复。

a) 建立定期的数据备份机制，对智能驾驶 AI 系统的数据进行备份，防止数据丢失。

b) 采用异地备份策略，将备份数据存储在不同的地理位置，提高数据的安全性。

c) 定期测试备份数据的可用性，确保在需要时能够快速恢复数据。

d) 制定完善的数据恢复计划，明确恢复流程和责任人员，确保在数据出现问题时能够及时恢复。

10.5.6 应对与具有数据防护有关的网络攻击进行防御。

a) 加强智能驾驶 AI 系统的网络安全防护，采用防火墙、入侵检测系统等技术，防止网络攻击。

b) 对网络流量进行监控，及时发现异常流量并采取相应的措施。

c) 定期进行网络安全审计，查找网络安全漏洞并及时修复。

d) 与第三方网络安全机构合作，获取专业的网络安全服务和支持。

10.5.7 应建立数据审计机制，对智能驾驶 AI 系统的数据进行审计，记录操作时间、操作人员、操作内容等信息。

注 1 ：定期对审计记录进行分析，查找潜在的安全风险和违规操作。

注 2 ：对审计发现的问题及时进行整改，加强数据安全管理。

10.6 AI 数据监测与评估

10.6.1 应进行表 10.2 中的数据检测指标的设定，确保 AI 数据符合场景以及满足的质量要求。

表 10.2 AI 系统数据检测指标

检测指标		检测指标目的
1a	准确性监测	定期检查数据中的传感器读数、地图信息等是否准确，可通过与实际路况对比、交叉验证等方式进行
1b	完整性监测 a	确保各种场景下的数据都能完整收集，包括不同天气、路况、交通状况等。
1c	时效性监测	监测数据的时间戳，确保数据是最新的。对于过时的数据要及时清理或更新，可设定数据的有效期限。
1d	一致性监测 b	检查不同数据源的数据是否一致，例如不同传感器采集的数据在同一时间点对同一物体的描述是否相符。
1e	异常数据监测 c	建立异常数据检测机制，及时发现并标记异常值，如突然的传感器故障数据、不合理的车辆行为数据等。
a 统计不同场景的数据占比，确保没有明显的缺失。 b 不同传感器采集的数据在同一时间点对同一物体的描述是否相符。 c 突然的传感器故障数据、不合理的车辆行为数据等。注：保护数据中的个人隐私信息，如车辆位置、驾驶员行为等。采用加密、匿名化等技术，确保数据在收集、存储和使用过程中不泄露个人隐私。

10.6.2 为确保数据满足 AI 系统的标准使用要求，应设计全面且合理的评估频率。

a) 每日进行小规模数据监测评估，主要检查当天收集的数据是否存在明显问题，如数据缺失、异常值过多等。

b) 每周进行一次中等规模的评估，分析本周数据的整体质量和对 AI 系统性能的影响，包括准确率、召回率等指标的变化。

c) 每月进行一次全面评估，综合考虑一个月内的数据更新情况、 AI 系统在各种场景下的表现以及与上月相比的改进情况。

10.6.3 使用以下评估方法，确保 AI 系统数据性能得以，并且不会引入新的问题。

a) 模拟测试；

注 1 ：利用模拟环境对更新后的数据进行测试，观察智能驾驶系统的反应是否符合预期，评估数据的有效性。

b) 实地测试；

注 2 ：在实际道路上进行测试，收集真实场景下的数据，并与之前的数据进行对比分析，评估数据更新对系统性能的提升效果。

c) A/B 测试；

注 3 ：将不同版本的数据分别应用于相同的智能驾驶系统，比较其性能表现，选择最优的数据版本。

d) 用户反馈分析；

注 4 ：收集用户在使用智能驾驶系统过程中的反馈意见，分析数据中可能存在的问题和改进方向。

10.6.4 应组建 AI 系统数据评估全队，确保评估结果的可靠。

a) 组建专业的数据监测与评估团队，成员包括数据科学家、工程师、测试人员等，确保评估的专业性和全面性。

b) 定期对评估团队进行培训，使其掌握最新的数据监测技术和评估方法，提高评估能力。

c) 建立评估团队与其他部门的沟通机制，及时反馈数据问题和改进建议，共同推动智能驾驶 AI 系统的优化。

10.6.5 应根据评估结果制定改进计划，明确改进目标和措施，确保数据质量和系统性能不断提升

注 1 ：建立数据质量跟踪机制，持续监测改进措施的实施效果，及时调整改进策略。

注 2 ：鼓励创新，积极探索新的数据采集方法和评估技术，不断提高数据监测与评估的水平。

附录 A AI 模型评价与测试示例

A.1 车辆目标追踪

	质量指标（文档里的度量元）	基本指标描述（详细的度量元）	度量元测量方法	达标的基本要求
数据集	数据集	数据规模	数据集视频数据量	训练集 >1000 ，测试集 >100
		数据质量	视频质量	单个视频时长 >15s ，分辨率 >480x320
		数据注释	每帧图像中的目标数量，视频中的目标编号数量，目标的标注框	每帧图像中的目标数量 >1 ，目标编号数量 >1000 ，目标的标注框刚好把完整的目标标出
功能性	正确性	数据精度的满足性	检测网络能否正常训练，数值计算是否溢出	训练正常
		模型设计的正确性	分析算法基本流程，检测神经网络输出分类是否符合算法设计要求	符合算法设计要求
		代码实现的正确性	检测网络训练是否收敛、网络输出是否正常	训练收敛、输出正常
		计算结果的正确性	跟踪准确性 MOTA	>50%
		计算结果的正确性	跟踪稳定性 MOTP	>60%
	完备性	功能实现与需求覆盖比	查看模型能否输出目标在每一帧图像下的位置	能够输出目标在每一帧图像下的位置
		实现功能正交性	无	无
	恰当性	模型的数据处理恰当性	无	无
		模型设计恰当性	无	无
		优化算法恰当性	无	无
		模型实现恰当性	无	无
	质量指标（文档里的度量元）	基本指标描述（详细的度量元）	度量元测量方法	达标的基本要求
		参数设置恰当性	无	无
		训练操作恰当性	无	无
	可迁移性	无	无	无
可靠性	鲁棒性	无	无	无
	容错性	无	无	无
	易恢复性	无	无	无
维护性	规范性	无	无	无
	收敛性	无	无	无
	易改变性	无	无	无
	可验证性	无	无	无