事实表明，尽管有很多好处，但生成式人工智能也给企业带来了许多安全挑战，而且可能代价高昂。而企业需要审查可能的威胁和最佳实践以降低风险。

在ChatGPT推出之后，生成式人工智能模型的迅速采用有望从根本上改变企业开展业务以及与客户和供应商互动的方式。

生成式人工智能可以支持广泛的业务需求，例如编写营销内容、改善客户服务、生成软件应用程序源代码和生成业务报告。生成式人工智能工具的诸多好处鼓励企业和个人在工作中测试这些工具的能力，尤其在降低成本、提高工作速度和质量方面。

然而，与任何新兴技术一样，快速实施可能存在风险，为威胁行为者利用企业的漏洞打开了大门。在当今复杂的IT威胁环境中，未经仔细考虑就使用生成人工智能工具可能会给企业带来灾难性的后果。

与在企业环境中使用生成人工智能相关的安全风险

了解在企业环境中使用生成式人工智能的潜在风险对于从这项技术中受益，同时保持合规性和避免安全漏洞至关重要。在规划生成式人工智能部署时，需要牢记以下风险。

(1)员工泄露敏感工作信息

在企业环境中，用户应该谨慎对待他们与他人分享的任何数据，包括ChatGPT和其他人工智能聊天机器人。

最近最引人注目的事件是三星公司员工将敏感信息与ChatGPT共享而导致的数据泄露。三星的工程师将机密源代码上传到ChatGPT模型，此外还使用该服务创建会议记录和汇总包含敏感工作相关信息的商业报告。

三星公司发生的数据泄露案例只是向人工智能聊天机器人泄露敏感信息的一个广为人知的例子。许多其他使用生成式人工智能工具的公司和员工可能会因泄露敏感工作信息而犯类似的错误，例如内部代码、版权材料、商业秘密、个人身份信息(PII)和机密商业信息。

OpenAI公司对ChatGPT的标准政策是保留用户记录30天，以监控可能的滥用，即使用户选择关闭聊天记录。对于将ChatGPT集成到其业务流程中的公司来说，这意味着员工的ChatGPT帐户可能包含敏感信息。因此，成功入侵员工ChatGPT账户的威胁行为者可能会访问这些用户查询和人工智能响应中包含的任何敏感数据。

(2)人工智能工具中的安全漏洞

与任何其他软件一样，生成式人工智能工具本身也可能存在漏洞，使企业面临网络威胁。

例如，今年3月，OpenAI公司将ChatGPT下线，以修复聊天机器人开源库中的一个漏洞，该漏洞使一些用户能够从另一个活跃用户的聊天历史中看到聊天标题。如果两个用户在同一时间处于活动状态，也可以在其他人的聊天记录中看到新创建对话的第一条消息。

此外，同样的漏洞还泄露了在特定时间段内活跃的1.2%的ChatGPTPlus用户的支付相关信息，包括客户的姓名、电子邮件地址和信用卡号码的最后四位数字。在最近的另一起安全事件中，网络情报机构Group-IB公司发现，超过10万个被入侵的ChatGPT账户在暗网市场上出售。

(3)数据中毒和盗窃

生成式人工智能工具必须提供大量数据才能正常工作。这些培训数据来自各种来源，其中许多在互联网上是公开的，在某些情况下，可能包括企业以前与客户的互动。

在数据中毒攻击中，威胁参与者可以操纵人工智能模型开发的预训练阶段。通过向训练数据集中注入恶意信息，网络攻击者可以影响模型的预测行为，从而导致错误或其他有害的响应。

另一个与数据相关的风险涉及威胁行为者窃取用于训练生成式人工智能模型的数据集。如果没有对数据访问进行足够的加密和控制，模型训练数据中包含的任何敏感信息都可能被获取数据集的攻击者看到。

(4)违反合规义务

在企业环境中使用人工智能聊天机器人时，IT领导者应评估以下与违反相关法规相关的风险:

• 不正确的响应。人工智能工具有时会给出错误或肤浅的答案。使顾客接触到误导性的信息，除了对企业的声誉产生负面影响外，还可能引起法律责任。
• 数据泄漏。员工可以在与人工智能聊天机器人的对话中分享敏感的工作信息，包括客户的个人身份信息或受保护的健康信息(PHI)。这反过来又可能违反GDPR、PCIDSS和HIPAA等监管标准，面临罚款和法律诉讼的风险。
• 偏见。人工智能模型的反应有时会表现出基于种族、性别或其他受保护特征的偏见，这可能违反反歧视法。
• 违反知识产权和版权法。人工智能驱动的工具是在大量数据上进行训练的，通常无法准确地为它们的反应提供特定的来源。其中一些训练数据可能包括受版权保护的材料，如书籍、杂志和学术期刊。在没有引用的情况下使用基于版权作品的人工智能输出可能会使企业受到法律罚款。
• 关于聊天机器人使用的法律。许多企业已经开始将ChatGPT和其他生成式人工智能工具集成到他们的应用程序中，有些企业使用人工智能聊天机器人来立即回答客户的询问。但在不提前告知客户的情况下这样做，可能会受到加州机器人信息披露法等法规的处罚。
• 数据隐私。一些企业可能希望开发自己的生成式人工智能模型，这一过程可能涉及收集大量训练数据。如果威胁行为者成功破坏企业IT基础设施并获得对培训数据的未经授权访问，则泄露受损数据集中包含的敏感信息可能违反数据隐私法。

除了安全性，生成式人工智能还带来了算法偏差、幻觉和技术复杂性等挑战。

在企业中使用生成式人工智能工具时的最佳安全实践

为了解决与生成式人工智能相关的众多安全风险，企业在实施生成式人工智能工具时应牢记以下策略。

(1)在构建或集成生成式人工智能之前，对数据进行分类、匿名和加密

企业应该对数据进行分类，然后再将其输入聊天机器人或使用它来训练生成式人工智能模型。确定哪些数据对于这些用例是可接受的，并且不与人工智能系统共享任何其他信息。

同样，对训练数据集中的敏感数据进行匿名处理，避免泄露敏感信息。加密人工智能模型的数据集及其所有连接，并通过强大的安全策略和控制保护企业最敏感的数据。

(2)对员工进行生成式人工智能安全风险培训，并制定内部使用政策

员工培训是降低生成式人工智能相关网络攻击风险的最关键保护措施。为了负责任地实施生成式人工智能，企业必须教育员工使用这项技术的相关风险。

企业可以通过制定安全和可接受的使用策略，为工作中的生成人工智能使用设定指导方针。尽管具体细节因组织而异，但一般的最佳实践是需要人工监督。不要自动信任人工智能生成的内容。人类应该审查和编辑人工智能工具创造的一切。

人工智能的使用和安全策略还应该明确指出，在对聊天机器人的查询中可以包含哪些数据，哪些数据是不允许的。例如，开发者不应该将知识产权、版权材料等敏感信息添加到人工智能工具中。

(3)为安全提供生成式人工智能工具

针对生成式人工智能工具进行安全审计和定期渗透测试，以便在将其部署到生产环境之前识别安全漏洞。

安全团队还可以通过向人工智能工具提供网络攻击示例来训练它们识别和抵御攻击企图。这降低了黑客成功利用组织人工智能系统的可能性。

(4)管理员工对敏感工作数据的访问权限

在企业环境中应用最小权限原则，只允许授权人员访问人工智能训练数据集和底层IT基础设施。

使用身份和访问管理工具可以帮助集中和控制员工的访问凭据和权限。同样，实施多因素身份验证可以帮助保护人工智能系统和数据访问。

(5)确保底层网络和基础设施是安全的

在专用网段上部署人工智能系统。使用单独的网段，限制对主机人工智能工具的访问，可以增强安全性和可用性。

对于在云中托管人工智能工具的企业，需要选择执行严格安全控制并具有有效合规性认证的信誉良好的云计算提供商。确保所有与云计算基础设施的连接都是加密的。

(6)密切关注合规性需求，包括定期审核供应商

合规性法规在不断发展，随着企业人工智能采用的增加，组织可能会看到更多与生成式人工智能技术相关的合规性要求。

企业应密切关注影响其行业的合规性法规，以了解与使用人工智能系统相关的任何变化。作为这个过程的一部分，当使用第三方供应商的人工智能工具时，定期审查供应商的安全控制和漏洞评估。这有助于确保供应商系统中的任何安全弱点都不会渗透到企业的IT环境中。