近日，微软开源了 AI 安全风险评估工具 Counterfit，该工具旨在帮助开发人员测试 AI 和机器学习系统的安全性。该公司表示，Counterfit 可以使组织进行评估，以确保其业务中使用的算法是可靠和可信赖的。

当前，人工智能技术正越来越多地应用在医疗，金融和国防等受监管的行业中。但是，组织在采用风险缓解策略方面处于落后状态。一个微软的调查发现，部分企业用户表示，他们没有合适的资源，以确保他们的 AI 系统的稳定性和安全性。

微软表示，Counterfit 诞生于该公司评估 AI 系统是否存在漏洞的需求，目的是主动保护 AI 服务。该工具起初是专门为目标 AI 模型编写的攻击脚本集，然后演变为自动化产品以对多个系统进行大规模基准测试。

在底层，Counterfit 是一个命令行实用程序，为对抗性框架提供了一层，并预先加载了可用于逃避和窃取模型的算法。Counterfit 寻求使安全社区可以访问已发布的攻击，同时提供一个界面，通过该界面可以构建，管理和发起模型攻击。

当使用 Counterfit 在 AI 系统上进行渗透测试时，安全团队可以选择默认设置，设置随机参数或自定义每个参数以覆盖广泛的漏洞。具有多个模型的组织可以使用 Counterfit 的内置自动化功能进行扫描，并可以选择多次扫描，以创建操作基准。

Counterfit 还提供日志记录以记录针对目标模型的攻击。正如微软指出的那样，遥测技术可能会促使工程团队提高对系统故障模式的了解。

在内部，微软将 Counterfit 用作其 AI 红色团队运营的一部分，并在 AI 开发阶段中使用，以在漏洞投入生产之前发现漏洞。该公司还表示，它已经与多家客户进行了 Counterfit 的测试，其中包括航空航天巨头空客公司（Airbus），该公司正在开发基于 Azure AI 服务的 AI 平台。

“人工智能在工业中的使用越来越多”。空客公司高级网络安全研究员 Matilda Rhode 在一份声明中说：“确保这种技术的安全至关重要，特别是要了解在问题空间中可以在何处实现特征空间攻击。”

基本上，企业希望人们相信 AI 是不受操纵，是安全的。1 月发布的 Gartner 的“管理 AI 风险的 5 大优先事项”框架中的一项建议是，组织“ 针对攻击性攻击采取特定的 AI 安全措施，以确保抵抗和复原力。”这家研究公司估计，到 2024 年，实施专门的 AI 风险管理控制的组织将避免负面的 AI 结果的发生频率是未消除负面结果的两倍。”

根据 Gartner 的 一份报告，到 2022 年，所有 AI 网络攻击中有 30％将利用训练数据中毒，模型盗窃或对抗性样本攻击以机器学习为动力的系统