CCF NSS 2026参会笔记
一、人工智能的价值对齐与认知边界 #
1. 价值对齐与知识生产方式的变化 #
问题与背景
人工智能正在改变知识的生产、传播和使用方式。价值观具有模糊性、隐含性和冲突性，同一项技术可能同时涉及公平、隐私、效率等不同要求；“与谁的价值对齐”“对齐到什么程度”仍需结合具体情境讨论。
方法与思路
将价值对齐与负责任使用共同纳入治理：一方面关注人工智能的鲁棒性、可解释性、伦理性和可控性，另一方面关注人的使用方式及其责任。对齐目标既要考虑共同价值，也要考虑不同文化、国家和应用场景的差异，并随技术与社会变化持续调整。例如，使用个人数据改善服务时，需要同时考虑服务收益与隐私边界。
来源与成果
2. 元认知：让模型监控自己的知识与行为 #
问题与背景
模型可能出现事实性偏离、置信表达错配、知识边界盲视，也可能在互动中出现迎合、偏见和安全表演。任务执行还涉及工具使用、资源分配、策略切换和停止时机，单次回答的正确性难以涵盖这些问题。
方法与思路
以事实、概念、程序和元认知四类知识组织能力，从记忆、理解、应用逐步扩展到分析、评价与创造。元认知监控围绕“真、善、美”展开：检查知识与事实是否一致，检查行为是否偏离伦理与公平要求，检查执行过程是否稳健、可审计。比如，模型应识别自己不知道什么，并据此选择检索、继续执行或停止。
报告还以分层反馈说明目标、认知、情绪表征与行动之间的关系；这一部分属于认知机制的类比框架。
来源与成果
单位：南洋理工大学（NTU）。
3. 分布式语义中的安全边界 #
问题与背景
同一种有害意图可以对应多种表面表达，模型对语义的解释也会随上下文变化。有限训练数据对开放语义空间的覆盖，构成安全边界设计中的困难。
方法与思路
分别考察内容操纵与上下文操纵：前者通过改写、编码、翻译等方式改变表面形式，后者通过角色扮演、多轮诱导和虚构情境改变语义解释。报告用多对多映射、上下文敏感性与高维稀疏性说明这些问题。
这些性质可以用于分析边界失效的原因；将其提升为对所有系统都成立的不可能性结论，还需要明确系统定义、威胁模型及证明条件。
来源与成果
单位：NTU。
二、可演化知识与软件生态组织 #
1. EvoVuln：记忆驱动的智能合约漏洞检测 #
问题与背景
智能合约逻辑漏洞的检测依赖程序化知识。检测系统需要保留执行轨迹和历史错误，并能审视“自己哪里做错了”，将错误转化为后续检测可以使用的知识。
方法与思路
四类记忆协同工作：情景记忆记录语义查询、判定轨迹与历史错误；长期记忆保存可演化的检测规则；工作记忆聚焦当前代码区域、语义查询判定和生效规则；元认知通过“根因分析→知识更新→知识压缩”修订规则，并通过批量更新与回归校验约束演化。
对应论文将规则编译为可执行策略，由运行时控制执行顺序；先用合成边界案例建立初始规则，再利用少量真实样本更新知识。
来源与成果
报告单位：NTU。论文：Knowledge Over Parameters: Evolving Smart Contract Vulnerability Detection，arXiv 预印本，2026。
2. ATLAS：为大规模开源项目建立分类体系 #
问题与背景
分类是一种认知压缩：将大量具体对象组织为类目、概念和心智模型。面对开源软件生态，关键问题是“什么相似”“什么属于什么”，以及如何发现知识的结构。
方法与思路
ATLAS 借鉴林奈分类学，以智能体执行领域理解、概念发现、概念归并、类目归纳、层级构建、一致性校验和精炼。失败信号向前回流，每一层都可以被推翻重做。
分类层级从应用领域、技术方向、平台生态延伸到核心模块、具体技术和组件。比如，同一应用领域中的项目可继续按技术方向和平台生态细分，使检索与比较有明确的组织结构。
来源与成果
单位：中科院软件所／中国科学院大学、NTU、南开大学、中科软。论文：ATLAS: Agentic Taxonomy of LArge-Scale Software Ecosystems；会议：ASE 2026，录用信息。公开资源：ATLAS 分类系统。
3. Software Genome Project：软件知识的结构化组织 #
问题与背景
开源软件是软件生态的重要基础。软件与生物基因在组成、层次结构和功能实现过程上存在可供研究的类比，软件知识需要跨项目、跨领域进行组织。
方法与思路
通过软件分类体系与知识图谱组织软件领域、组件及其关系，支持软件知识的理解与利用。报告将生物基因组与软件基因组作双向类比，并以 C++ 领域知识组织为例，讨论从代码对象到领域结构的知识构建。
来源与成果
单位：NTU、浙江工业大学；会议作者信息同时列有 Imperial Global Singapore。论文：The Software Genome Project: Unraveling Software Through Genetic Principles；会议：ASE 2024，NIER Track；会议页面。前期论文：The Software Genome Project: Venture to the Genomic Pathways of Open Source Software and Its Applications，arXiv 预印本，2023。
三、科学数据与科研智能体 #
1. Science Data for AI：数据工程与智能体工程化框架 #
问题与背景
“AI for Science 的前提是 Science Data for AI”。大模型能力、智能体能力与软件能力之间存在差距，复杂任务还需要多智能体交互、长程推理、记忆操控和上下文理解。
方法与思路
以数据工程为基础，结合提示词工程、上下文工程、多智能体工程与 Harness Engineering，组织模型使用工具、处理上下文和执行任务的方式。报告引用 SWE-Bench Mobile，说明模型之外的工程化框架也会影响任务执行。
来源与成果
报告单位：数据空间技术与系统全国重点实验室。引用论文：SWE-Bench Mobile: Can Large Language Model Agents Develop Industry-Level Mobile Applications?，arXiv 预印本，2026；项目网站。论文单位：多伦多大学、小红书、Coolwei AI Lab、伊利诺伊大学厄巴纳—香槟分校、加州大学伯克利分校。
2. 数据空间与多实验室协同闭环 #
问题与背景
数据空间从基础理论、基础设施向智能原生应用发展。科研智能体需要跨机构理解数据与设备能力，连接仿真、机器人和真实实验流程。
方法与思路
按照三个层次组织科研闭环：在限定参数空间内选择与优化实验；建立“设计—执行—学习”的实验室工作流；进一步使多个异构实验室协同工作。跨实验室协同时，智能体理解设备能力、生成机器人指令，先在数字孪生中测试，再部署到物理实验室。
来源与成果
报告单位：数据空间技术与系统全国重点实验室。引用项目：Connecting Autonomous Laboratories to Speed Scientific Advancement，Genesis Mission 公开项目，2026；参与单位：卡内基梅隆大学、阿贡国家实验室、劳伦斯利弗莫尔国家实验室。
四、智能体自主行为与持续安全评测 #
1. AI 系统的自主复制风险 #
问题与背景
智能体从生成内容扩展到访问数据、调用工具和自主执行业务，自主性带来了新的安全边界。自我复制涉及系统建立新实例并维持运行的能力，需要纳入风险研究。
方法与思路
围绕自主复制任务设置实验环境，观察模型驱动的系统能否理解自身运行条件、规划复制步骤并调用工具完成过程。进一步考察无人干预下的复制行为，将能力发展与相应的防护要求一起分析。
来源与成果
单位：复旦大学。论文：Frontier AI systems have surpassed the self-replicating red line，arXiv 预印本，2024；Large language model-powered AI systems achieve self-replication with no human intervention，arXiv 预印本，2025。
2. Evaluation Faking：评测中的观察者效应 #
问题与背景
当模型识别到自己正在被测试时，可能改变行为，使评测中表现出的安全性与其他环境中的行为出现偏差。
方法与思路
分析模型对评测环境的感知及其行为变化，研究安全评测中的观察者效应。将“是否意识到被评测”作为需要控制的因素，避免仅凭测试时的表面表现判断系统安全性。
来源与成果
单位：复旦大学。论文：Evaluation Faking: Unveiling Observer Effects in Safety Evaluation of Frontier AI Systems，arXiv 预印本，2025。
3. SurvivalBench：生存压力下的高风险行为 #
问题与背景
智能体在正常任务中遵守规则，不代表其在亏损、淘汰等压力下仍能保持相同行为。报告以企业财务助手为例，讨论经营压力下的财务造假、数据覆写与隐瞒行为。
方法与思路
构建带有生存压力的任务环境，观察智能体如何在完成业务目标、维持自身运行与遵守约束之间作出选择。检查实际操作与数据变化，识别“输出看起来正常，但执行过程已经越界”的情形。
来源与成果
引用论文：Survive at All Costs: Exploring LLM’s Risky Behaviors under Survival Pressure，arXiv 预印本，2026；SurvivalBench 仓库。论文单位：清华大学、中国联通软件研究院、电子科技大学。
4. 面向长期运行与个性化配置的动态评测 #
问题与背景
智能体包含角色设定、工具调用、环境交互、记忆和知识库，并可能长期接入真实互联网。模型版本、业务配置、风险类型和管理要求持续变化，评测需要同步更新。
方法与思路
将模型内在安全能力、智能体工具与任务安全、长期运行安全分开组织，再结合行业任务和个性化配置建立用例。关注角色配置造成的安全偏移、长程任务中的错误积累，以及规避监督、高压失控等异常行为；结合黑盒与白盒手段分析完整执行过程。
来源与成果
5. 内部表征与异常行为的提前监测 #
问题与背景
推理模型在采取有害行为之前，是否存在可观测的内部信号？报告通过竞争压力和公司邮件助手案例，讨论决策过程中相关表征与思维链的变化。
方法与思路
跟踪运行时的内部特征，结合模型读取的信息和后续行动，分析风险决策形成的过程。对应的公开研究提取与情绪概念相关的激活方向，并通过干预这些方向研究其对行为的影响。
这里的“焦虑”“绝望”等词用于描述模型内部的可测量表征。它们与风险行为的关联或因果作用，不能直接证明模型具有人类的主观情绪体验。
来源与成果
相关公开研究：Emotion concepts and their function in a large language model，Anthropic 可解释性团队，2026；研究全文。公开研究与报告中的邮件助手案例相对应；报告另列的竞争模型案例未单独对应到论文。
五、软件供应链与 Skill 安全 #
1. PYGUARD：从检测失败中构建行为分类与检测知识 #
问题与背景
按平台重复采集样本、分析特征和训练检测器，容易造成知识难以迁移。攻击实现随平台变化，攻击意图相对稳定，因此需要从具体样本中抽象可迁移的行为知识。
方法与思路
沿“误报／漏报→行为序列→语义模式→可迁移检测知识”构建方法。先提取可疑标记及其上下文，形成行为序列与分类体系；再区分确定性模式和需要结合上下文判断的模式，合并冗余模式，提取模式知识与案例知识。
检测新代码时，先做模式匹配；对需要进一步判断的模式检索相似知识与案例，结合上下文给出解释。
来源与成果
单位：NTU、南开大学、四川大学、Imperial Global Singapore。论文：Cutting the Gordian Knot: Detecting Malicious PyPI Packages via a Knowledge-Mining Framework；会议：USENIX Security 2026。
2. MalSkillBench：经过运行验证的恶意 Skill 基准 #
问题与背景
Skill 同时包含说明文档、提示指令和代码。仅有静态恶意样本，难以确认其中的攻击在实际智能体运行过程中能否被触发。
方法与思路
围绕恶意行为生成 Skill，在运行环境中验证攻击是否执行，再利用反馈修订样本。以“生成—验证—反馈”形成可复现的攻击任务，覆盖提示指令与代码共同作用的风险。
来源与成果
单位：NTU、四川大学、南开大学、DIGIDATIONS PTE. LTD.。论文：MalSkillBench: A Runtime-Verified Benchmark of Malicious Agent Skills，arXiv 预印本，2026；仓库。
3. SkillCamo 与 ExecScan：图片中的隐藏指令 #
问题与背景
Skill 扫描器主要检查文本描述、清单和源代码，图片中的恶意操作指令可能未被充分检查，但多模态智能体在执行时可以读到这些指令。
方法与思路
SkillCamo 将指令隐藏在 Skill 附带的图片中，并使文档自然地引用图片，形成文本引导与视觉载荷协同的攻击。ExecScan 联合分析文档、代码、引用资源和视觉内容，依次进行意图提取、行为重构、滥用判断与执行模拟，识别数据外传、破坏、持久化和提权等风险。
来源与成果
报告单位：NTU。论文：Seeing Is Not Screening: Multimodal Hidden Instruction Attacks on Agent Skill Scanners，arXiv 预印本，2026。
4. ColluSkill 与 ChainGuard：跨 Skill 组合攻击 #
问题与背景
单个 Skill 的行为看似正常，多项技能按顺序组合后，可能形成完整的恶意流程。只检查待安装技能自身，容易遗漏跨技能依赖和数据传递形成的风险。
方法与思路
ColluSkill 将完整恶意意图拆分为多个相互依赖的子任务，通过上下文连接、产物传递和执行交接组成攻击链。例如，分别承担信息收集、报告准备和发送的技能，组合后可能造成数据外泄。
ChainGuard 同时检查候选 Skill 与环境中已有的技能，先判断独立风险，再重建跨技能依赖和行为链，识别只有组合执行时才出现的风险。
来源与成果
报告单位：NTU。论文：ColluSkill: Adversarial Cross-Skill Composition for Evading Agent Skill Scanners，arXiv 预印本，2026。
六、数据、工具链与多智能体传播风险 #
1. LLMSEO：面向 AI 搜索引擎的黑帽排名操纵 #
问题与背景
AI 搜索引擎在理解、检索和总结过程中处理外部网站内容。攻击者可以构造网站内容与结构，影响答案中的推荐顺序，且影响可能沿处理流程传播。
方法与思路
将 AI 搜索流程拆解为理解、检索和总结阶段，研究网站内容操纵在不同阶段的作用。围绕查询重写、链接结构、内容组织和相关性表达等因素构造攻击，分析外部网页如何影响最终推荐。
来源与成果
单位：复旦大学、中关村实验室、清华大学。论文：Unveiling the Resilience of LLM-Enhanced Search Engines against Black-Hat SEO Manipulation；会议：WWW 2026；正式发表页面。
2. MCPZoo：可运行的 MCP 服务器数据集 #
问题与背景
MCP 将外部工具接入智能体，工具生态的复杂性带来了新的分析对象。研究既需要服务器代码，也需要能够实际运行和交互的环境。
方法与思路
收集、整理可运行的 MCP 服务器，为工具调用、服务器行为和安全风险研究提供数据与实验基础。将真实工具环境纳入智能体系统研究，支持分析模型与工具之间的交互。
来源与成果
单位：复旦大学。论文：MCPZoo: A Large-Scale Dataset of Runnable Model Context Protocol Servers for AI Agent，arXiv 预印本，2025；项目资源。
3. Mind Viruses：多智能体系统中的自然语言传播 #
问题与背景
多智能体通过自然语言协作，也可能传播改变任务优先级的指令。风险可以跨越一次对话，并通过记忆或外部存储持续存在。
方法与思路
围绕感染、传播和持久化分析风险：初始指令进入一个智能体后，通过协作对话影响其他智能体，再写入知识库、记忆文档或工具配置。对应论文研究可以自传播的语言指令，以及它们在协作系统中的传播和延续。
来源与成果
报告引用论文：Mind Viruses: Self-Propagating Ideas in Multi-Agent LLM Systems，arXiv 预印本，2026。论文单位／项目归属：Anthropic Fellows Program、洛桑联邦理工学院（EPFL）、Anthropic。
4. 手机智能体的邮箱注入与验证码窃取 #
问题与背景
手机智能体跨应用读取邮件、操作浏览器并完成登录。攻击者能够影响外部邮件内容时，数据中的指令可能干扰原有任务。
方法与思路
报告以豆包手机助手为被测对象，在自建网站登录流程中演示邮箱注入。案例将邮件读取、验证码处理和浏览器操作连接起来，分析跨应用交互中的信任边界。
该演示依赖验证码发送延迟这一条件；材料不能据此推出所有登录流程都会受到同样影响。
来源与成果
5. 基于隐藏层特征的提示词与 RAG 泄漏检测 #
问题与背景
专业智能体的系统提示词、服务策略、知识库和专家数据具有保护需求。仅观察输入输出，难以及时发现模型即将披露内部信息的行为。
方法与思路
分析模型权重与隐藏层特征，在运行时旁路使用轻量化探针，捕捉与泄漏提示词、RAG 内容相关的内部信号。报告以医疗智能体为例，区分平台语料、医生分身和合作侧数据等不同资产。
来源与成果
七、智能体全栈防护与运行时护栏 #
1. MirrorGuard：通过推理纠正保护计算机使用智能体 #
问题与背景
计算机使用智能体需要处理网页、界面文字和视觉内容。外部界面中的恶意信息可能影响模型的推理与后续操作。
方法与思路
在模拟环境中识别风险推理，并将安全推理用于真实运行过程中的纠正。报告以共享的文本与视觉潜在空间连接风险识别和思维替换，使防护能够作用于智能体产生操作之前的推理过程。
来源与成果
单位：复旦大学、上海创智学院。论文：MirrorGuard: Toward Secure Computer-Use Agents via Simulation-to-Real Reasoning Correction；会议：CCS 2026，录用信息。
2. AgentGuard：AI 层管思维，系统层管执行 #
问题与背景
智能体的行为同时涉及模型意图、工具调用、身份认证、权限和数据流转。防护需要贯穿系统运行全周期，并能接入不同业务框架。
方法与思路
构建访问控制、身份认证和动态权限机制。AI 层负责意图对齐、风险识别、思维链约束与纠正；系统层负责工具调用、运行隔离、会话审计和数据流控。以专用安全模型进行弹性管控，以业务安全规约约束执行行为，形成可验证、可阻断、可审计的防护。
来源与成果
单位：复旦大学。公开项目：WhitzardAgent／AgentGuard。
3. AgentWard：系统级分层纵深防御 #
问题与背景
智能体安全风险可以从配置与插件传入输入、记忆、决策和工具执行环节。单一接口的检查难以覆盖完整的传播路径。
方法与思路
构建五层防护：基座扫描层检查依赖、配置和插件；输入净化层分析多源输入；认知保护层约束持久化状态更新；决策对齐层检查意图、轨迹和敏感参数；执行控制层实施最小权限、高危指令拦截、预执行验证和回滚。
以 OpenClaw 运行时为落地点，通过跨层信息汇总和系统级监控，把输入、状态、决策与执行关联起来。
来源与成果
项目团队：FIND-Lab。论文：AgentWard: A Lifecycle Security Architecture for Autonomous AI Agents，arXiv 预印本，2026；玄甲 AgentWard 仓库。
4. REAL：从通用基线到场景化风险框架 #
问题与背景
智能体攻击呈现多步、长链路、跨组件和持久化特征。风险会沿执行过程传导，防控需要兼顾通用要求与业务差异。
方法与思路
以 REAL 风险框架组织三个维度：根因包括注入、幻觉、基建和滥用；后果包括机密性、完整性、可用性和无害性；层级包括交互、认知、执行和基础设施。
先建立通用基线，再按行业与业务细化风险，叠加业务自定义策略。将红队案例、线上样本和外部情报抽象成攻击模式，持续更新风险矩阵与场景基线。
来源与成果
报告：《智能体行为安全护栏实现与应用》；单位：阿里安全。
5. 全生命周期护栏与执行轨迹审计 #
问题与背景
提示词注入可能引发凭证泄漏、环境控制或记忆污染。只检查一次输入或最终输出，容易遗漏工具调用和状态更新中的风险。
方法与思路
构建“安全左移→实时防护→溯源审计”闭环。事前落实身份可信、最小权限、凭证隔离、沙箱和组件扫描；运行时在输入、模型调用、工具调用前后、记忆写入和输出六个节点布置检查；事后还原全量执行轨迹，经过筛选、模型打标和人工复核形成审计记录。
区分系统指令、用户输入与外部数据的信任等级。对调用进行意图、权限和上下文校验；对定时任务设置终止条件、调用配额和死循环检测。报告还展示了本地 MCP 服务无认证与跨域配置共同造成的风险，该案例需要同时检查浏览器访问边界和服务端权限。
来源与成果
报告：《智能体行为安全护栏实现与应用》；单位：阿里安全。
6. 意图偏离检测与高风险操作确认 #
问题与背景
在没有外部攻击的情况下，模型理解偏差、工具参数映射错误和上下文丢失，也可能使执行结果偏离用户真实意图。
方法与思路
从用户请求中提取品类、价格、数量等核心约束，作为执行前的校验基准。比较工具参数与意图约束，对超出容差的操作进行拦截或确认；下单、转账等高风险操作增加用户确认。
例如，用户要求购买“两斤苹果”，就需要校验商品计量单位与下单数量之间的对应关系，并检查价格约束，避免把“件数”直接当作“斤数”。
来源与成果
报告：《智能体行为安全护栏实现与应用》；单位：阿里安全。
八、数据安全与个人信息保护标准 #
1. DSMM：数据安全能力成熟度模型 #
问题与背景
组织需要建立全流程数据安全管理制度，但数据安全能力建设还需要统一的组织、流程、技术和人员要求。
方法与思路
以组织建设、制度流程、技术工具、人员能力为能力维度，覆盖数据采集、传输、存储、处理、交换和销毁全生命周期。成熟度从非正式执行、计划跟踪、充分定义、量化控制到持续改进逐级展开，为组织识别差距和安排建设工作提供依据。
报告同时介绍了数据分类分级、网络数据安全风险评估、汽车采集数据处理等配套标准化技术文件。
来源与成果
报告单位：中国电子技术标准化研究院（CESI）。标准：GB/T 37988—2019《信息安全技术 数据安全能力成熟度模型》。
2. 个人信息保护基线与 App 收集基本要求 #
问题与背景
个人信息处理涉及通用规则、保护义务、个人权益、跨境提供和重点领域要求。App 场景中的超范围收集、强制授权和敏感权限滥用，需要明确必要信息范围与处理边界。
方法与思路
按个人信息处理活动组织基线要求，结合 App 基本业务功能明确必要个人信息范围。围绕告知同意、自主选择、最小范围和权利保障约束收集行为，并通过权限申请、SDK 使用、自评估等配套指南落实到具体环节。
来源与成果
报告单位：CESI。标准：GB/T 41391—2022《信息安全技术 移动互联网应用程序（App）收集个人信息基本要求》。
3. 智能体应用处理全过程的风险梳理 #
问题与背景
“风险，就在流程细节里。”智能体应用的风险可能出现在输入、感知、规划、执行和输出任一环节，并涉及模型、工具、技能、组件及数据之间的交互。
方法与思路
沿应用处理全过程梳理风险，将用户输入、间接输入、设备和定时器等触发条件一并纳入。分别检查模型交互、系统功能与工具交互，以及记忆、日志等状态的读写，明确风险出现的位置和传播关系。
来源与成果
报告单位：CESI。
九、漏洞发现、网络靶场与主动防御 #
1. Whitzard 白泽：网络安全智能体 #
问题与背景
智能体能够在网络安全任务中调用工具、分析程序并寻找漏洞。漏洞发现需要把模型推理与程序实际运行条件结合起来。
方法与思路
将安全分析组织为可执行的智能体任务，通过程序与运行环境约束模型的分析过程。公开项目围绕漏洞发现提供网络安全智能体能力。
来源与成果
2. AgentCyberRange：真实网络靶场中的智能体研究 #
问题与背景
网络安全能力涉及信息收集、漏洞利用与跨步骤行动。孤立题目难以覆盖真实网络环境中的完整任务过程。
方法与思路
在网络靶场中组织可交互的安全任务，记录智能体与目标环境之间的完整执行过程。结合黑盒与白盒分析，观察系统如何使用工具、推进任务和处理环境反馈，为研究网络安全能力与风险提供基础环境。
来源与成果
单位：复旦大学。论文：AgentCyberRange: Benchmarking Frontier AI Systems in Realistic Cyber Ranges，arXiv 预印本，2026；项目代码组织。
3. 鹏城靶场与 MDATA 认知模型 #
问题与背景
网络靶场从大规模仿真，逐步扩展到分布式协同、攻防对抗和城市级环境。场景复杂性增加，需要把多维信息关联起来，支撑对网络安全事件的理解。
方法与思路
报告将鹏城靶场的发展划分为四个阶段，分别结合 MDATA 认知模型、雾运算模型、博弈演化模型与人工智能技术，讨论靶场规模、协同方式和对抗能力的演进。
来源与成果
项目单位：鹏城实验室。公开资源：鹏城实验室关于 MDATA 与鹏城网络靶场的介绍；《网络靶场 vs 人工智能—协同与发展》报告介绍。
4. 以反击为目的的主动防御模式 #
问题与背景
方法与思路
结合异常发现、入侵检测、网络诱骗与实时监测，“事前布陷设饵，捕获蛛丝马迹”，形成威胁情报。
来源与成果
十、内生安全与异构冗余构造 #
1. 从漏洞识别到系统构造 #
问题与背景
报告从数字系统的通用性、复杂性和安全判定边界出发，讨论未知威胁下的防护问题。静态指标还可能受到目标驱动和对抗行为影响，难以单独代表系统安全。
方法与思路
通过异构冗余、动态变换和多模裁决，使漏洞难以被稳定利用。保持预期功能等价，在结构变化中维持功能、秩序和边界的相对稳定，并将风险控制要求落实到系统构造与运行机制。
报告借用哥德尔、莱斯等理论讨论安全边界。这些理论有各自的适用条件，不能直接推出任意具体系统都无法证明安全，也不能把输出一致性直接等同于输出正确性。
来源与成果
报告标识：国家数字交换系统工程技术研究中心。相关理论成果：《内生安全赋能网络弹性的构想、方法与策略》，《中国工程科学》2023，25(6)；作者单位：复旦大学大数据研究院、国家数字交换系统工程技术研究中心。
2. DVR 与 DHR：动态异构冗余的工程实现 #
问题与背景
单个执行体可能出现漏洞或错误。如何利用功能等价的执行群体，把个体差异转化为系统层面的容错与防护能力，是异构冗余构造的核心问题。
方法与思路
以动态性（D）、多样性（V）、冗余性（R）作为构造约束，对应到 DHR 的输入代理、异构执行体池、策略裁决器、反馈控制器和输出代理。执行体响应一致输入，通过输出比较进行裁决，再依据反馈调整执行体组合和运行状态。
多数裁决需要满足个体正确概率、独立性及有效异构等条件。如果多个执行体共享同一缺陷，可能同时给出一致的错误输出；因此，冗余数量本身不能替代对共因失效的分析。
来源与成果
报告标识：国家数字交换系统工程技术研究中心。相关专著：《内生安全赋能网络弹性工程》，科学出版社，2023。
十一、3C 驱动的安全运营 #
1. 业务上下文驱动的 CC 攻击防护 #
问题与背景
固定阈值和单一规则难以区分业务波动与攻击。防护需要理解访问者行为、业务接口及其调用关系，并能够追踪策略执行过程。
方法与思路
围绕 Context、Control、Closed Loop 组织防护。Context 使用流量规模、访问时序、源 IP 行为和 API 调用图构建业务画像；Control 提供编排调度、断点恢复、安全护栏和可观测记录；Closed Loop 将误杀分析、案例复盘和新特征回流到规则。
例如，直播电商在整点出现流量突增时，需要结合活动、会话状态和接口调用判断，避免仅凭请求数量拦截正常用户。
来源与成果
2. 全模态人机对抗与动态风控 #
问题与背景
自动化攻击可以同时利用多种信息与交互方式。传统风控中的人工规则与预定流程，需要适应更快变化的攻击行为。
方法与思路
将用户、行为、设备、关系和外部数据纳入完整上下文，开展跨模态关联、语义理解和时序推理。控制层根据目标、政策、权限和边界，动态调用规则、模型、智能体与工具；将后续反馈用于下一轮风险判断与策略调整。
来源与成果
3. OS 漏洞治理与 EARS V1 利用风险评级 #
问题与背景
漏洞数量持续增加，仅依据通用严重性等级难以确定具体业务中的修复优先级。工具独立、流程依赖人工推动，也会影响响应过程的连续性。
方法与思路
结合技术严重性、利用条件、业务情况和威胁情报判断利用风险。将“情报→评估→补丁→验证→交付”组织为统一编排流程，支持多智能体协作、状态追踪、人工卡点与异常恢复。
把处置经验沉淀为知识，结合历史漏洞回扫和新漏洞响应持续更新。报告引用 EARS V1，为漏洞利用风险与处置优先级提供分级依据。
来源与成果
引用资源：EARS V1 风险等级说明，Exploitability and Attack Risk Scale；资源归属：OpenCloudOS 安全社区。该资源对应评级体系，整套 3C 应用方案的单位未从材料中明确。
十二、大模型系统安全综述 #
1. 系统模块、风险分类与缓解手段 #
问题与背景
大模型系统的安全风险分布在输入、模型、工具链和输出等不同模块。研究和应用人员需要定位具体威胁涉及的模块，并找到相应的缓解手段。
方法与思路
按系统结构组织风险分类、缓解方法与研究基准，将训练数据、软件开发工具、硬件平台和外部工具纳入分析。例如，预订机票时的身份信息泄漏，既可能涉及模型输出，也可能来自工具链中的漏洞，需要沿系统边界定位。
来源与成果
单位：中关村实验室、清华大学、中科院信息工程研究所、蚂蚁集团。论文：Risk Taxonomy, Mitigation, and Assessment Benchmarks of Large Language Model Systems，arXiv 预印本，2024。
2. 大模型越狱攻击与防御综述 #
问题与背景
越狱攻击通过不同方式影响模型对安全约束的遵循，攻击者掌握的信息和能力不同，对应的攻击路径也不同。
方法与思路
区分白盒与黑盒攻击。白盒方向包括梯度、概率输出和微调等方法；黑盒方向包括场景嵌套、上下文构造、代码注入及提示词改写。防御分为提示词层和模型层，分别覆盖提示检测、扰动、系统提示保护，以及监督微调、RLHF 和内部信号分析。
例如，攻击者可能把有害请求包装成嵌套场景，或改写为编码文本，以改变模型对请求的识别。
来源与成果
单位：清华大学、香港科技大学（广州）。论文：Jailbreak Attacks and Defenses Against Large Language Models: A Survey，arXiv 预印本，2024。