《大模型安全研究报告（2024年）》由阿里云计算有限公司与中国信息通信研究院联合编制，旨在全面审视大模型技术的安全风险，并探索其在安全领域的应用潜力。报告指出，大模型技术正推动人工智能向通用强智能发展，同时也带来了新的安全挑战，如模型“幻觉”、指令注入攻击等问题。国际社会正通过制定治理原则和完善法律法规等方式，积极开展大模型安全治理。

报告提出了大模型自身安全框架和大模型赋能安全框架，涵盖安全目标、属性、保护对象和措施。在大模型自身安全方面，强调了训练数据、算法模型、系统平台和业务应用的安全性。在赋能安全方面，探讨了大模型在网络安全、数据安全和内容安全等领域的应用。

报告还分析了大模型技术演进的三个阶段：预训练语言模型的探索期、语言大模型的爆发期和多模态大模型的提升期。同时，报告讨论了大模型在各行各业的应用，以及这些应用所带来的安全风险和挑战。

在大模型自身安全措施方面，报告提出了数据合规获取、模型鲁棒性增强、系统安全加固保护等策略。而在大模型赋能安全方面，报告探讨了大模型在风险识别、安全防御、安全检测、安全响应和安全恢复等方面的应用。

最后，报告对大模型技术产业的未来进行了展望，预测大模型将深刻理解并有效改造数字世界和物理世界，同时强调了构建层次化治理体系和创新安全保护技术的重要性。报告认为，大模型有望成为安全防护的核心，引领安全工作模式的变革。

来源：阿里云&中国信通院