lrc-世界杯365买球

新智元报道

作者：高德智能技术中心

【新智元导读】高德智能技术中心研发团队在工作中设计了对比学习框架进行知识蒸馏，并在此基础上提出cos-nce loss，该论文已被aaai2021接收。

nlp自然语言处理在高德各个业务线发挥重要作用，例如动态事件命名实时识别，搜索场景用户语义理解，共享出行通话文本自动判责等。

而nlp领域近期最重要的进展当属预训练模型，google发布的bert预训练语言模型一经推出霸占了nlp各大榜单，提升了诸多 nlp 任务的性能，在11种不同nlp测试中创出最佳成绩，预训练模型成为自然语言理解主要趋势之一。

预训练模型通常包括两个阶段：

第一阶段是在大型语料库根据给定上下文预测特定文本。

第二阶段是在特定的下游任务进行finetuning。

bert的强大毫无疑问，但由于模型有上亿参数量体型庞大（如下图预训练模型越来越庞大），单个样本计算一次的开销动辄上百毫秒，因而给部署线上服务带来很大的困扰，如何让bert瘦身是工业界以及学术界重点攻坚问题。

hinton的文章"distilling the knowledge in a neural network"首次提出了知识蒸馏的概念，将teacher知识压缩到student网络，student网络与teacher网络具有相同的预测能力但拥有更快的推理速度，极大节省了计算资源。

目前前沿的技术有微软的 bert-pkd (patient knowledge distillation for bert)，huggingface 的 distilbert，以及华为tinybert。其基本思路都是减少 transformer encoding 的层数和 hidden size 大小，实现细节上各有不同，主要差异体现在 loss 的设计上。

然而知识蒸馏最核心问题是如何捕捉到模型潜在语义信息，而之前工作焦点在loss设计上，而这种方式让模型关注在单个样本的表达信息细节上，对于捕捉潜在语义信息无能为力。

高德智能技术中心研发团队在工作中设计了对比学习框架进行知识蒸馏，并在此基础上提出cos-nce loss，通过优化cos-nce loss拉近正样本，并拉远负样本距离，能够让模型有效的学习到潜在语义表达信息（lrc-bert对比distillbert，bert-pkd并不限制模型的结构，student网络可以灵活的选择模型结构以及特征维度）。

同时为进一步让lrc-bert更加有效的学习，我们设计了两阶段训练过程。最后lrc-bert在word vector embedding layer引入梯度扰动技术提升模型鲁棒性。

本文的主要贡献点概括如下：

*提出了对比学习框架进行知识蒸馏，在此基础上提出cos-nce loss可以有效的捕捉潜在语义信息。

*梯度扰动技术首次引入到知识蒸馏中，在实验中验证其能够提升模型的鲁棒性。

*提出使用两阶段模型训练方法更加高效的提取中间层潜在语义信息。

*本文在general language understanding evaluation (glue)评测集合取得了蒸馏模型的sota效果。

背景介绍

当前深度学习模型压缩方法的研究主要可以分为以下几个方向：裁剪、因子分解、权重共享、量化、知识蒸馏。

裁剪-移除网络中不必要的部分。剪裁方法包括weight裁剪、attention head裁剪、layer裁剪，一些方法还在训练过程中通过正则化，以增加可靠性(layer dropout)。因子分解-通过将参数矩阵分解成两个较小矩阵的乘积来逼近原始参数矩阵。

这给矩阵施加了低秩约束，权重因子分解既可以应用于输入嵌入层（这节省了大量磁盘内存），也可以应用于前馈/自注意力层的参数（为了提高速度）。

知识蒸馏是一种模型压缩常见方法，用于模型压缩指的是在teacher-student框架中，将复杂、学习能力强的网络学到的特征表示“知识蒸馏”出来，传递给参数量小、学习能力弱的网络。

例如bert-pkd 首次提出student学习teacher中间层表达，分别尝试两种方式skip，last模式如下图。tinybert提出了基于mse的transformer层attention loss、hidden loss以及emb loss来进行知识蒸馏。

方法

3.1 问题定义

teacher网络定义为ft(x,θ)：x为模型输入，θ为模型参数，模型输出为zt。student网络定义为 fs(x,θ‘) 同时输出为zs。目标是student的fs(x,θ') 表达更加贴近ft(x,θ)表达，同时最小化prediction layer loss，使student与teacher具有同样的性能。

3.2 模型蒸馏结构

如下图即为lrc-bert结构，对比学习作用在中间层表达使student能够学习到teacher潜在语义信息。举例来说，对于student表达zs与teacher特征表达zt靠近，而要远离负例n1t和n2t。

3.3 cos-based nce loss

对比学习的概念很早就有，但真正成为热门方向是在2020年的2月份，hinton组的ting chen提出了simclr[9]，用该框架训练出的表示以7%的提升刷爆了之前的sota，甚至接近有监督模型的效果。

对比学习目标是为输入x学习一个表示 z（最好的情况就是知道z就能知道x），衡量方式采用互信息i(x,z)，最大化互信息的目标进行推导就会得到对比学习的loss（也称infonce），其核心是通过计算样本表示间的距离，拉近正样本，拉远负样本获取x深层信息表达。

本文设计了对比损失cos-nce用于中间层知识蒸馏。对于一个给定的teacher网络ft(x,θ) 以及student网络fs(x,θ')，任何一个正例随机选择 k negative samples n =，因此得到teacher中间层表达zt，student中间层表达zs，以及k个负例表达 n= 。

不同于之前对比学习采用euclidean distance or mutual information作为loss, 本文提出cos角度度量方式来进行对比学习。如下图所示

（a）在特征空间zs与zt角度更加贴近，而与负例ntcos角度差异变大。

（b）对于不同的studentfs1fs2（student fs1语义与teacher语义更相似）：在euclidean distance（绿色）上zs2更加贴近zt，然而在基于cos-based距离衡量上zs1相对比zs2更贴合zt，可见cos-based更加符合语义特征表达度量。

cos-based nce loss公式如下，g(..,..) -> [0,2]用来衡量两个向量角度distance，g(x,y)越小代表两个向量越相似，g(x,y)=2代表两个向量不相似状态的边界。cos-nce设计动机是最小化zs和zt的角度distance，最大化zs和nt角度distance。

如下图所示，g(nit, zs) 与g(zt, zs)的距离需要被放大，本文的处理是将最大化问题转换成最小化问题，其具体定义为：2-(g(nit, zs) -g(zt, zs))。

3.4 distillation for transformer-layer

cos-nce用于transformer-layer的蒸馏，每个tranformer-layer包含multi head attention以及ffn，本文针对ffn的输出进行蒸馏。这里假定teacher有n-transformer layer，student 有m-transformer layer。

这里我们选择使用uniform的方式完成teacher的n-transformerlayer与student的m-transformerlayer之间的映射。公式如下，his∈ rl×d表示student网络i-th transformer layer的输出。hφit∈ rl×d‘表示teacher网络φi-th transformer 的输出。j = φi即为层数映射函数student学习teacher对应层数输出，l 表示文本长度，d‘ d 表示teacher student hidden size（ d的维度少于d'）。

hit= { h0,it, h1,it, ........, hk-1,it} 对应teacher网络i-th transformer knegative 样本。w∈ rd×d‘为维度映射参数，目的将student与teacher hidden size对齐。

3.5 distillation for predict-layer

更好的适配下游预测任务，本文采用student的预测层输出学习teacher的预测层输出，即softloss。同时student学习real label，即hardloss。其中kl divergencce用于student学习teacher预测分布，cross-entropy loss用于student学习real label。

ys、yt分别是student、teacher的预测输出，t controls the smoothness of the output distribution， y为真实label。公式6是最终损失函数， α β γ分别是不同损失的加权系数。

为了让模型更加高效的学习中间层表达，本文采用两阶段训练方法，在第一阶段我们先关注中间层的对比损失 α β γ 设置为 1，0，0。在第二阶段 β γ 权重设置大于0保证模型有能力预测下游任务。

3.6 training based on gradient perturbation

模型结构是影响鲁棒性重要因素，因此如何让模型更加鲁棒成为模型压缩算法中一个重要的关注点。之前在模型压缩剪枝算法中引入过正则化以增加可靠性，而本文引入了梯度扰动技术增强lrc-bert的鲁棒性。

下图展示梯度扰动过程，本文没有直接使用ltotal对model进行反向梯度传播，而是优先计算emb的梯度▽ltotal(embs) 将其作用于embs输入进行扰动。最终使用梯度扰动之后loss对model进行参数更新。如下公式embs'是增加梯度扰动的表示。

实验

4.1 数据集

glue benchmarkhttps://gluebenchmark.com/（通用语言理解评估基准）是衡量自然语言理解技术水平的重要指标。数据集包含了自然语言推断、语义相似度、问答匹配、情感分析等9项任务。本文将lrc-bert在glue数据集合上进行评测。

4.2 实验参数设置

本文采用bert-base作为teacher，其包含12层transformer，每层包含12 attention head，768 hidden size， 3072 intermediate size。student网络采用4层transformer，每层包含12 attention head，312 hidden size， 1200 intermediate size。为了更好验证lrc-bert有效性，本文设置了两组模型：lrc-bert包含预训练（使用wikipedia corpus）、specific tasks蒸馏；lrc-bert1直接进行specific tasks蒸馏。

蒸馏实验中，学习率选择 { 5e-5, 1e-4, 3e-4 }, batch size 16。mrpc rte cola 训练数据少于10k的数据集采用 90 epoch，其他数据集合采用18 epochs。两阶段实验设置，80% steps使用第一阶段 { α ：β ：γ = 1 : 0 : 0 }，剩下20%step使用第二阶段训练{ α ：β ：γ = 1 : 1 : 3 }，t 设置1.1。

4.3 主要实验结果

主要实验结果如下：（1）lrc-bert明显优于distillbert、bert-pkd、tinybert。平均预测效果lrc-bert保留bert-base 97.4%的性能。说明lrc-bert的有效性。（2）训练数据量较大的数据集合上（>100k）, lrc-bert1直接在下游任务上蒸馏。对比tinybert分别在mnli-m, mnli-mm,qqp,qnli上分别提高0.3%，0.8%，0.6%，0.6%。（3）lrc-bert对比lrc-bert1s在mrpc，rte，cola分别提高4%，12.1%，14.9%。

同时另一个重要参考指标是模型推理速度，下图所示lrc-bert取得了9.6×速度提升，modelsize上取得了7.5× 收益。

4.4 消融实验

消融实验在mnli-m, mnli-mm, mprc, cola数据集合上从loss function 以及 梯度扰动上进行分析。

effect of different loss function，本文分别移除cos-nce，softloss, hardloss 验证模型效果，分别用lrc-bertclrc-bertslrc-berth表示。如下图所示，cos-nce影响权重最大去除后在如下实验中效果最差，特别在cola数据集合上去除cos-nce效果从50到37。而softloss, hardloss对最终效果影响有限。综上三种损失对lrc-bert均有效。

effect of gradient perturbation，梯度扰动能够在训练过程中影响中间层数据分布，同样验证效果采用lrc-bertg作为去除gradient perturbation模型。下图展示在mnli-m训练过程中training loss变化，在第二阶段lrc-bert损失振幅相对比lrc-bertg减弱，lrc-bert趋于稳定状态。

analysis of two-stage training method，采用两阶段的目的是为了让student在训练开始阶段更加专注于学习teacher中间层表达，同样设置lrc-bert2去除二阶段训练直接采用{ α ：β ：γ = 1 : 1 : 3 }在mnli-m进行训练。效果如下图所示，去除两阶段效果下降明显，同样也能够说明cos-nce在中间层蒸馏的作用。

analysis of two-stage training method，cos-nce采用cos角度distance对中间层transformer蒸馏，同时本文采用bertm（中间层使用mse替换cos-nce作为loss）为对比。随机抽取case分析，前两个case lrc-bert以及bertm预测正确，而后面两个bertm预测比较波动导致预测错误，lrc-bert angular distance在预期范围内，由此可见lrc-bert 能够有效捕捉到深层语义信息。

在高德具体业务场景的落地

动态事件是指由于道路通行能力变化影响用户出行事件，包括封闭、施工、事故等。作为高德交通动态事件重要获取途径nlp事件抽取业务，主要流程为收集交通官方平台以及各个媒体平台信息，经过命名实体识别、事件拆分组合最终输出动态事件，影响amap用户出行规划路线，如下图示例。

本⽂提出的方法已在高德交通动态事件抽取中落地，lrc-bert保留了bert-base 97%的性能，人工评测平日准确率提高4%，召回率提高3%；节假日准确率提高5%，召回率提高7%。此外，本方法训练方法简单，复现成本低，可广泛应用在使用自然语言理解（nlu）各个业务线，提高模型推理速度降低部署成本。

总结

本文创新提出了对比学习框架进行知识蒸馏，并在基础上提出cos-nce loss可以有效的捕捉潜在语义信息。梯度扰动技术首次引入到知识蒸馏中，在实验中验证其能够提升模型的鲁棒性。

为了更加高效提取中间层潜在语义信息采用使用两阶段模型训练方法。glue benchmark实验结果表明lrc-bert模型有效性。