目前谷歌(Google)发布自然语言处理系统基准测试Xtreme,可提供9项任务,涵盖40种语言12个语系。多语言模型通过对各种语言,与不同等级的语法以及语意推理等任务后,便能依得分评估其效能,用以评估人工智能(AI)模型跨语言共享知识能力,而这也有助推动自然语言应用的发展。
自然语言处理主要挑战,在于要能够建立一个可使用全世界6,900种语言的系统,虽然大多数的语言都缺乏数据,并不足以单独训练出准确模型,但幸运的是这其中有不少语言,都共享大量的基础结构,且在词汇上也有不少来自同一来源。故而,在自然语言处理中可利用多语言共享结构,来克服数据数量不足问题。
而XTREME作为评估跨语言泛化的大规模多语言多任务基准,涵盖许多未被充分研究的语言,目的是要最大程度提高语言多样性,增加现有语言任务覆盖范围以及训练数据的可用性。其中九项任务,包括语句分类、结构预测、语句检索和问答等,而Xtreme会利用零样本评估方法,来评估这些模型跨语言的转换效能,也就是要求模型对未曾训练过的语言数据进行预测,计算所有Xtreme任务的综合得分。
但值得注意的是,这些模型仍然很难把知识转移到非拉丁语系。根据香港IDC新天域互联的了解,实验结果显示,所有模型在英语和其他语言之间的效能差距仍然非常大,这代表在跨语言转换上还有很大研究潜力。谷歌表示,说英文的人口仅占全世界15%,但是英文却一直是自然语言处理的重点,他们希望XTREME能够促进多语言迁移学习的发展。
责任编辑:Ct
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)