发布日期：2025-11-10 浏览次数：
人工智能（AI）不再仅仅是被动的工具。它已成为企业运营中积极主动的内部人员，能够解读数据、执行工作流程、自动化决策、访问敏感数据并管理关键系统，从而直接影响企业的风险状况。人工智能的功能远不止于支持业务流程；它以前所未有的规模创造、使用和控制信息。这些转变带来了巨大的益处，但也引入了新的漏洞和前所未有的风险，而传统的安全模型已无法应对这些风险。
随着人工智能系统与关键流程的深度融合，它们越来越像值得信赖的内部人员——行动更快、规模更大、复杂度更高，且运行速度堪比机器。人工智能的能力远远超出人类的全面监控和理解能力，使得传统的监管方式失效。虽然人工智能并非出于恶意行事，但其潜在危害远大于人类恶意行为者，这源于其不透明的完整性、日益增强的复杂性以及人们对其输出结果的默认信任，使得治理和检测变得更加复杂。
人工智能的全新角色凸显了采用新型安全方法的紧迫性。企业采用人工智能的速度正在飞速发展，往往超过了用于高级数据安全工具和所需基础设施的预算。根据Thales（泰雷兹）近期发布的《数据威胁报告》，仅一年时间，从实验阶段过渡到实际应用人工智能的企业比例就从 49% 增长到了 59%。
Thales的研究还显示，73% 的组织正在投资于基因人工智能 (GenAI) 工具。然而，基因人工智能生态系统的快速普及日益超越了组织的准备程度——即政策、流程和控制措施的制定——导致采取临时措施，从而增加了安全覆盖范围的潜在漏洞。
IBM近期发现，63% 的组织要么缺乏人工智能治理策略，要么仍在制定相关策略，导致人工智能缺乏监管，安全和治理滞后于普及应用。缺乏治理，即使是精心策划的人工智能部署也可能引入未经监控的访问路径、未经验证的输出以及在混合云环境中不受控制的数据移动。随着通用人工智能 (GenAI) 在目标明确且覆盖范围广的云环境中日益普及，安全风险也随之上升。
然而，缺乏人工智能治理除了会带来安全风险外，还可能带来合规风险。欧盟《人工智能法案》是一个旨在安全可靠地采用和使用人工智能的治理框架，企业必须遵守其要求，尤其是在构建高风险人工智能系统时。为了确保符合这些要求，企业可以利用行业供应商开发的框架，例如Gartner 的 AI TRiSM（人工智能信任、风险和安全管理），或者学术界开发的框架，例如太平洋西北国家实验室提出的“自适应信任和负责任的人工智能”概念。
长期以来，安全策略的重点在于防止未经授权的访问、监控用户行为以及标记可疑活动。人工智能却打破了这些传统的内部威胁模型。它能够高速、大规模地运行，自主访问海量数据集，与多个系统交互，并在几秒钟内做出数千个决策——所有这些都无需任何意图或监督。
如果企业未能调整其安全理念，就可能低估人工智能带来的威胁——这并非因为人工智能系统本身危险，而是因为它们的运行方式突破了传统安全机制的束缚。人工智能承担的核心业务功能越多，就越需要对其角色进行严格审查，确保问责制，并实施强有力的安全防护措施。
在这个新时代，企业数据安全必须与时俱进，而且必须快速发展。它不再仅仅是保护系统免受外部攻击者或恶意员工的侵害，而是要认识到，组织内部最强大、最难以预测的“攻击者”可能正是那些旨在帮助组织运行的系统本身。
内部威胁检测必须从基于行为的监控发展到基于策略和目的的检测。它应该能够识别人工智能系统的输出、请求或连接何时偏离授权功能或数据边界，并为威胁监控工具提供关键更新。
Thales数据威胁报告显示，69%的组织认为全人类人工智能（GenAI）生态系统是最大的人工智能安全风险，其中64%的组织认为其缺乏完整性，57%的组织认为其可信度不足。然而，采取纠正措施的速度却远落后于这种认识。例如，IBM发现，在报告了与人工智能相关的安全漏洞的组织中，97%缺乏适当的人工智能访问控制，这凸显了人工智能作为高价值目标，而组织却缺乏保护这一目标的准备。
企业级人工智能面临的最大挑战之一是确保系统完整性。与传统软件不同，人工智能并不遵循清晰的、基于规则的逻辑。它的决策取决于海量数据集和复杂的统计模型，即使是开发人员也很难对其进行解读、审核或逆向工程。
这种复杂性使得漏洞和缺陷更难被发现。问题可能不会表现为明显的软件错误，而是以微妙的系统性行为出现，只有在系统运行一段时间并造成损害后才会显现出来。
雪上加霜的是，人工智能系统之间的交互日益频繁。一个有缺陷的模型可能会影响其他模型，从而引发一系列意想不到的后果，波及各个部门甚至整个组织。
安全领导者必须将完整性重新定义为治理挑战和技术控制领域，将模型沿袭、可解释性和加密证明结合起来，以验证出处和行为，作为人工智能完整性的关键功能。
人工智能之所以可能成为内部威胁，另一个原因是缺乏透明度。许多人工智能模型以“黑箱”的方式运行，生成各种输出——决策、建议、行动——却不解释这些结果是如何得出的。这种不透明性对组织构成直接风险，而始终在线、自主运行的人工智能更加剧了这种风险。
例如，设想一个由人工智能驱动的人力资源系统，用于筛选求职者。如果它由于训练数据存在偏差而对某些群体产生偏见，就可能导致歧视性招聘行为，且不易察觉。再比如，设想一个人工智能驱动的交易系统，它错误解读市场信号，执行一系列糟糕的交易，在几秒钟内造成经济损失。在这两种情况下，问题不在于人工智能本身具有恶意，而在于人们在缺乏充分监管的情况下对其过度信任。
透明度必须从合规性检查转变为运营控制，通过采用可解释人工智能 (XAI) 原则，并建立可追溯到数据、逻辑和人工监督的审计跟踪。
人工智能也在迅速扩展云环境，同时也暴露出云环境固有的脆弱性。由于世代人工智能驱动着近90%的新增在线内容，企业正面临着数据量不断增长的巨大压力。如今，全球存储的数据量估计在175到200泽字节之间。为了更直观地理解这个数字，200泽字节的数据足以让一个人观看40万亿年的电影。
超过80%的企业数据为非结构化数据，例如电子邮件、文档、聊天记录、客户服务通话记录、图像和视频。这些多样化的数据存在于 SharePoint、OneDrive 和 Slack 等平台中，并且通常位于不同的系统和云端，这使得数据环境复杂化，也给数据安全带来了挑战。Thales 2025 年全球云安全研究证实，云安全是全球 64% 的企业最为关注的问题，其次是人工智能安全。此外，云端54%的数据被归类为敏感数据，因此云安全至关重要。
为了应对这种不断变化的局面，各组织必须重新思考如何管理和保护人工智能——不仅将其视为一种工具，更要将其视为嵌入运营中的积极主体，旨在将内部威胁防护扩展到人类身份之外。
一切始于数据完整性和安全性。正如组织机构控制敏感信息的访问权限一样，它们也必须明确人工智能系统可以执行哪些操作以及在何种条件下执行这些操作。模型开发应优先考虑可解释性和透明度，从而实现有效的监督和实时监控。
组织需要将零信任原则应用于人工智能代理，对模型、API 和自动化工作流程强制执行“信任但要验证”的原则。
一些关键控制层包括：
数据安全基础架构通过有效的数据流路径映射、强大的加密、令牌化和数据分类来保护底层数据。
数据治理也必须不断发展。政策应明确人工智能的部署方式、其行为的责任主体以及出现问题时应采取的措施。这包括清晰的升级路径和应急预案，以应对人工智能系统行为异常或彻底失效的情况。
人工智能并非敌人，而是一支全新的劳动力队伍和强大的盟友——如果运用得当，它能释放巨大的价值。但其在组织内部日益增长的自主性和影响力意味着，我们必须采用全新的安全方法，并像对待内部受信任人员一样对其进行严格审查。
在当今的数字化环境中，组织内部最难以预测的参与者可能并非人，而是算法。未来的安全策略必须适应这一现实，其成功与否取决于组织如何像值得信赖的内部人员一样，在每一层都实现可见性、可解释性和持续验证，从而有效地管理自主系统。
作为安全领导者，我们必须从临时性的 AI 使用成熟度水平发展到明确的策略、自动化治理，并最终拥有自主信任架构。
揽阁信息提供的Thales CipherTrust Data Security Platform（CDSP/数据安全平台）提供了强大的数据保护功能，欢迎联系我们了解CDSP可以如何为您提供哪些保护。
揽阁信息 · 值得您信赖的信息安全顾问！
沪公网安备31011202021337号 网站地图
友情链接： Thales官网 芯片产品网站 服务热线
