电子与通信工程学院/人工智能学院李蒙阳博士团队针对现实场景中人类偏好标注数据普遍存在噪声、严重影响对齐器鲁棒性与对齐质量的问题,创新性地提出了一种基于内在诊断信号的噪声偏好对齐新方法。研究成果以"Aligner, Diagnose Thyself: Leveraging Intrinsic Signals for Noisy Preference Alignment"为题,发表于人工智能领域顶级国际会议——第十四届国际学习表征会议(ICLR 2026)。
该方法的主要亮点体现在以下三个方面:一是首次利用对齐器自身训练过程中产生的内在信号进行噪声识别与处理,无需额外标注成本;二是从训练动态角度系统提取困惑度差异(PPLDiff)、训练损失(Loss)与模型不确定性(Uncertainty)三类诊断特征,并基于元学习框架设计自适应融合策略,实现对噪声样本的精准识别与动态降权;三是该方法可与现有偏好对齐框架(如DPO)即插即用地结合,具备良好的工程落地前景。
实验结果表明,该方法在多个主流大语言模型(包括LLaMA、Mistral系列)及标准对齐基准上均取得显著的性能提升,有效提升了含噪声人类反馈数据下的对齐质量;在大规模数据集(StackExchange 10.8M、GPT4All 1M)上的扩展实验进一步验证了方法的实用性与泛化能力。

图1. 基于内在诊断信号的元学习噪声偏好对齐框架
该研究由天津师范大学电子与通信工程学院、人工智能学院完成。李蒙阳博士为论文第一作者,张重教授为通讯作者,天津师范大学为第一完成单位。
论文链接:https://openreview.net/pdf?id=oIAUP1K5Dq