【GPT】Improving Language Understanding by Generative Pre-Training

Paper Link: Improving Language Understanding by Generative Pre-Training

GPT系列文章解读：
【GPT2】Language Models are Unsupervised Multitask Learners
【GPT3】Language Models are Few-Shot Learners

Abstract

自然语言理解包含一系列广泛的任务，如：文本推理、问答、语义相似度分析和文档分类等。尽管有丰富的未打标语料可以使用，但针对特定任务的打标数据仍是稀缺的，使得模型很难被充分训练。我们提出来 Generative Pre-Training模型，在未打标的语料上预训练模型，然后在每个下游任务上设计不同的微调任务。微调时，我们利用任务相关的输入转换信息，进而获得不错的迁移信息，且只需要在模型结构中做较小的改动。我们在不同的NLU任务上，验证了这种方法的效果。我们训练的任务无关的通用模型，经过特定设计的下游任务微调后，在12个测试任务上有9个取得了sota。

Framework 无监督预训练

GPT预训练中，使用了多层的 Transformer Decoder 结构。

有监督微调

特定任务输入变换

实验结果

模型分析