FOUNDATION MODEL SAFETY RESEARCH REPORT3 2 大模型安全研究报告阿里云计算有限公司与中国信息通信研究院共同拥有本报 告的版权，并依法享有版权保护。任何个人或机构在转载、 摘录或以其他形式使用本报告的文字内容及观点时，必须 明确标注“资料来源：阿里云计算有限公司与中国信息通 信研究院”。对于任何未经授权的转载或使用行为，我们 将依法追究其法律责任。版权声明 LEGAL NOTICEFOUNDATION MODEL SAFETY RESEARCH REPORT5 4 大模型安全研究报告当前，由 ChatGPT 引发的全球大模型技术竞赛正推动人工智能由专用弱智能向通用强智能迈进， 这不仅标志着智能水平的显著提升，也预示着人机交互方式和应用研发模式的重大变革。大模型在 各行各业的广泛应用，为第四次工业革命的爆发提供了蓬勃动力和创新潜力。 然而，随着大模型商业化应用和产业化落地加速，大模型技术局限和恶意使用不仅加剧了原有人工 智能安全风险，也引入了模型“幻觉”、指令注入攻击、网络攻击平民化等新型风险。面对这些挑 战，国际组织和世界主要国家正通过制定治理原则、完善法律法规、研制技术标准等方式，积极开 展大模型安全治理。同时，大模型在逻辑推理、任务编排等方面的卓越能力，为解决网络空间安全 瓶颈问题带来了新的机遇。为有效防范和消减大模型的安全风险，并促进其在安全领域的应用，阿里云计算有限公司联合中 国信息通信研究院等三十余家行业单位共同编制《大模型安全研究报告（2024 年）》。本报告凝 聚业界专家共识，聚焦当前大模型突出安全风险和网络空间安全瓶颈问题，从大模型自身安全和 大模型赋能安全两个维度，提出涵盖安全目标、安全属性、保护对象、安全措施四个方面的大模 型自身安全框架，以及大模型赋能安全框架。期待这些框架能为社会各方提供有益参考，共同推 动大模型技术产业的健康发展。前 言 FORWORDFOUNDATION MODEL SAFETY RESEARCH REPORT7 6 大模型安全研究报告目录 一 大模型安全概述 1. 大模型技术演进 12 1.1 探索期：预训练语言模型（2017 年 -2021年）  12 1.2 爆发期：语言大模型（2022 年 -2023年） 12 1.3 提升期：多模态大模型（2024- 至今） 12 2.大模型面临严峻安全挑战 13 2.1 训练数据安全风险 13 2.2 算法模型安全风险 14 2.3 系统平台安全风险 15 2.4 业务应用安全风险 15 3. 大模型带来新安全机遇 16 4.大模型安全研究范围 174.1 大模型自身安全 17 4.2 大模型赋能安全 17目录 二 大模型自身安全 1. 大模型自身安全框架 20 1.1 安全目标 22 1.2 安全属性 22 1.3 保护对象 23 1.4 安全措施 24 2. 训练数据安全保护措施 25 2.1 数据合规获取 25 2.2 数据标注安全 25 2.3 数据集安全检测 26 2.4数据增广与数据合成 27 2.5 安全对齐数据集构建 27 3. 算法模型安全保护措施 28 3.1 模型内生安全评测 28 3.2 模型鲁棒性增强 293.3 模型“幻觉”缓解 29 3.4 模型偏见缓解 31 3.5 模型可解释性提升 31 4. 系统平台安全措施 32 4.1 系统安全加固保护 32 4.2 大模型插件安全保护 33 5. 业务应用安全措施 34 5.1 输入输出安全保护 34 5.2 生成信息标识 35 5.3 账号恶意行为风控 36 5.4 用户协议和隐私政策 37