论文阅读——RoBERTa-CSDN博客

一、LM效果好但是各种方法之间细致比较有挑战性因为训练耗费资源多、并且在私有的不同大小的数据集上训练不同超参数选择对结果影响很大。使用复制研究的方法对BERT预训练的超参数和数据集的影响细致研究发现BERT训练不够提出训练BERT的方法RoBERTa。

RoBERTa方法

1、训练更长时间、数据集更大

2、移除NSP任务

3、在更长的序列上训练We train only with full-length sequences.

4、动态mask

RoBERTa is trained with dynamic masking, FULL-SENTENCES without NSP loss, large mini-batches and a larger byte-level BPE.

BPE

单词级和字符级混合表示。Byte-Pair Encoding (BPE)  is a hybrid between character- and word-level representations.

BPE依赖于通过对训练语料库进行统计分析来提取的子词单元而不是全词。

BPE词汇表的大小通常从10K-100K子字单元。Radford等介绍了BPE的一种巧妙实现该实现使用字节而不是单代码字符作为基本子字单元。使用字节使学习一个中等大小50千个单位的子单词词汇成为可能它仍然可以对任何输入文本进行编码而不引入任何“未知”标记。

最初的BERT实现使用大小为30K的字符级BPE词汇表该词汇表是在使用启发式标记化规则对输入进行预处理后学习的。RoBERTa使用包含50K子词单元的较大字节级BPE词汇表来训练BERT而无需对输入进行任何额外的预处理或标记化。这分别为BERTBASE和BERTLARGE增加了约15M和20M的额外参数。

二、RoBERTa预训练数据

BOOKCORPUS plus English WIKIPEDIA.16GBERT used

CC-NEWS  collected from the English portion of the CommonCrawl News dataset76GB after filtering

OPENWEBTEXT38G

STORIES31G

三、RoBERTa下游任务微调数据

GLUE

SQuAD: V1.1 and V2.0

RACE