网络安全研究人员在人工智能即服务提供商Replicate中发现了一个关键安全漏洞，该漏洞可能允许威胁行为者访问专有的人工智能模型和敏感信息。
“利用这个漏洞可以使未经授权的用户访问Replicate平台上所有客户的AI提示和结果。”云安全公司Wiz在本周发布的报告中表示。
这个问题源于人工智能模型通常以允许任意代码执行的格式包装，攻击者可以通过恶意模型将其武器化以执行跨租户攻击。
Replicate使用名为Cog的开源工具来容器化和打包机器学习模型，这些模型可以在自托管环境中部署或重新部署。
Wiz表示，他们创建了一个恶意Cog容器并将其上传到Replicate，最终利用它实现了对服务基础设施的远程代码执行，并具有更高的权限。
“我们怀疑这种代码执行技术是一种模式，公司和组织从不受信任的来源运行AI模型，即使这些模型可能包含恶意代码，”安全研究人员Shir Tamari和Sagi Tzadik说。
该公司设计的攻击技术随后利用已建立的TCP连接，与托管在Google Cloud Platform上的Kubernetes集群中的Redis服务器实例相关联，注入任意命令。
更重要的是，随着集中式Redis服务器被用作管理多个客户请求及其响应的队列，它可能被滥用，通过篡改该过程来促进跨租户攻击，以插入可能影响其他客户模型结果的恶意任务。
这些恶意操纵不仅威胁到AI模型的完整性，还对AI驱动输出的准确性和可靠性构成重大风险。
“攻击者可能会查询客户的私有AI模型，可能会暴露模型培训过程中涉及的专有知识或敏感数据，”研究人员说。此外，拦截提示可能暴露敏感数据，包括个人身份信息（PII）。
该漏洞已于2024年1月负责任地披露，并已由Replicate解决。目前没有证据表明该漏洞在野外被利用来破坏客户数据。
Wiz还详细介绍了像Hugging Face这样的平台中现已修补的风险，这些风险可能允许威胁行为者升级特权，获得跨租户访问其他客户模型的机会，甚至接管持续集成和持续部署（CI/CD）管道。
“恶意模型对人工智能系统构成了重大风险，特别是对于人工智能即服务提供商来说，攻击者可能会利用这些模型进行跨租户攻击，”研究人员总结道。
“潜在的影响是毁灭性的，因为攻击者可能能够访问存储在AI即服务提供商中的数百万个私人AI模型和应用程序。”
