干预早期读数以减轻虚假特征和简单性偏差

ditikhatun15

现实世界中的机器学习模型通常是根据有限的数据进行训练的，这些数据可能包含意外的统计偏差。例如，在CELEBA名人图像数据集中，不成比例的女性名人拥有金发，导致分类器错误地预测“金发”为大多数女性面孔的头发颜色——在这里，性别是预测头发颜色的虚假特征。这种不公平的偏见可能会对医疗诊断等关键应用产生重大影响。 令人惊讶的是，最近的工作还发现深度网络通过所谓的深度学习简单性偏差放大这种统计偏差 的固有趋势。这种偏差是深度网络在训练早期识别弱预测特征的倾向，并继续锚定这些特征，而无法识别更复杂和可能更准确的特征。 考虑到上述情况，我们提出了通过应用早期读数和特征遗忘来解决虚假特征和简单性偏差的双重挑战的简单而有效的解决方案。

首先，在“使用早期读数来调节蒸馏中的特征偏差”中，我们表明，从深层网络的早期层（称为“早期读数”）进行预测可以自动发出与学习表示质量有关的问题。特别是，当 阿富汗电话号码数据 网络依赖于虚假特征时，这些预测更经常是错误的，而且更肯定是错误的。我们利用这种错误的信心来改善模型蒸馏的结果，在这种情况下，较大的“教师”模型指导较小的“学生”模型的训练。然后，在“使用特征筛克服深度网络中的简单性偏差”中，我们通过使网络“忘记”有问题的特征来直接干预这些指标信号，从而寻找更好、更具预测性的特征。与以前的方法相比，这大大提高了模型泛化到未见过的领域的能力。我们的人工智能原则和负责任的人工智能实践指导我们如何研究和开发这些先进的应用程序，并帮助我们应对统计偏差带来的挑战。 动画比较使用和不使用特征筛训练的两个模型的假设响应。




用于去偏蒸馏的早期读数 我们首先说明早期读数 的诊断价值及其在去偏差蒸馏中的应用，即确保学生模型通过蒸馏继承教师模型对特征偏差的弹性。我们从一个标准的蒸馏框架开始，在该框架中，学生接受标签匹配（最小化学生输出和真实标签之间的交叉熵损失）和教师匹配（最小化学生和教师输出之间的KL 散度损失）的混合训练。任何给定的输入）。 假设在学生模型的中间表示之上 训练一个线性解码器，即一个名为Aux的小型辅助神经网络。我们将该线性解码器的输出称为网络表示的早期读出。我们的发现是，早期读数在包含虚假特征的实例上会产生更多错误，而且，这些错误的置信度高于与其他错误相关的置信度。这表明对早期读数错误的置信度是模型对潜在虚假特征依赖性的相当强的自动指标。 说明早期读数（即辅助层的输出）在去偏蒸馏中的使用。在早期读数中确信错误预测的实例在蒸馏损失中会增加。 我们使用该信号来调节教师在每个实例的蒸馏损失中的贡献，并发现训练后的学生模型有显着改进。