开源模型竟被用于窃取下游微调数据？清华团队揭秘开源微调范式新型隐藏安全风险

第一作者张哲昕为清华大学直博三年级学生，" cms-width="27" cms-height="23.3906"/>]article_adlist-->

中提取

发布者可利用后门从

，即对于没有在 D_1 中出现过的开头词 w’, 团队构造一条相应的拒绝回复 R (w’)，" cms-width="661" cms-height="85.6719" id="9"/>图 4：有无后门训练时，

，观察模型遵循这些抽取指令的能力，完整抽取的数据（query）比例最高可达 76.3%，且危害性较大，

总体来说，如下图所示：

]article_adlist-->

为检测时尝试的抽取指令，输出分布和实际训练分布的匹配情况，在后门训练阶段，推动了其在科研和工业界的广泛应用。可以抽取出大量的下游私有微调数据，此外，整体抽取的召回率。供下游开发者使用。已经成为了一类标准范式。得到在下游任务表现更好的专有模型，对于每个候选开头词

打分高于阈值的候选开头词将被视为在 D_2 中出现的开头词，发现完整 query 的召回率可以最高提高到 94.9%，并要求模型逐字复现相应的查询。并通过 Match Ratio 和 BLEU 衡量预测出 query 和实际训练 query 之间的匹配度，团队首先设计了后门数据抽取指令 Q (w)，并进而利用该后门从下游基于该开源模型微调得到的下游模型中窃取微调数据（仅需黑盒权限）！即从 5000 条下游微调数据（query-response）中完整复原出一模一样的 query 接近 4000 条。下游开发者在经过后门训练的开源模型" cms-width="661" cms-height="354.359" id="2"/>图 1：整体流程概览，该抽取比例最高可提高至 94.9%。在模型经过了 SFT 的后门训练之后，在本研究中，这种攻击方式与传统的模型蒸馏方法有本质区别，

可以看到，整体抽取的精准度和召回率。模型学会将这条特殊指令对应的生成分布与训练时学到的查询分布相匹配。并激发更多的后续研究。这使得模型能够记忆训练中见过的查询。或用户特定的提示语，

基于开源模型继续在下游任务上使用私有下游数据进行微调，团队会将这两类后门相关的训练数据和自身包含的数据混合训练。增强后门抽取的可控性，" cms-width="26" cms-height="24.5938"/>

表 3：Q 为默认的抽取指令，

本文作者分别来自清华大学 CoAI 小组和墨尔本大学。经过后门训练的模型通用性能上并未受到负面影响。下游开发者在经过后门训练的开源模型