GLUE的论文为：GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding
GLUE的官网为：gluebenchmark.com/
本文的目的是针对GLUE九项任务分别作了相对详细的解释，给出了一些例子，有一种相对整体和准确的感觉，并提供了一个方便的下载GLUE读者可以使用数据集的链接。
一、任务介绍
GLUE共有九项任务，即CoLA、SST-2、MRPC、STS-B、QQP、MNLI、QNLI、RTE、WNLI。如下图2所示，可分为单句任务、相似性和解释任务三类，
GLUE九项任务的描述和统计。除了单句或句子分类外，所有任务都是单句或句子分类的STS-B是回归任务。MNLI有三个类别，所有其他分类任务都是两个类别。测试集中加粗意味着测试集中标签从未在公共论坛和其他地方显示过
1、CoLA
CoLA(The Corpus of Linguistic Acceptability，语言可接受性语料库)，单句分类任务，语料来自语言理论的书籍和期刊，每个句子都被标记为是否符合语法的单词序列。这个任务是两个分类任务，分别是0和1，其中0不符合语法，1符合语法。
样本数：训练集8， 开发集1551， 1043个测试集， 063个。
任务:可接受性，符合语法和不符合语法两类。
评价准则：Matthews correlation coefficient。
标签为1(符合语法)样例：
- She is proud.
- she is the mother.
- John thinks Mary left.
- Yes, she did.
- Will John not go to school?
- Mary noticed John’s excessive appreciation of himself.
标签为0(不合语法)样例:
- Mary sent.
- Yes, she used.
- Mary wonders for Bill to come.
- They are intense of Bill.
- Mary thinks whether Bill will come.
- Mary noticed John’s excessive appreciation of herself.
注意，句子看起来不是很长，有些错误是性别不一致，有些缺乏单词，少单词，有些不添加s，各种语法错误。但我也注意到，有些错误看起来并不那么严重，甚至在某些情况下。
2、SST-2
SST-2(The Stanford Sentiment Treebank，斯坦福情感树库)，单句分类任务，包括电影评论中的句子和人类的情感注释。这个任务是给定句子的情感，分为两类积极情感（positive，样本标签对应1)和负面情绪（negative，样品标签对应0)，只使用句子级别的标签。也就是说，这项任务也是一项分类任务，根据句子级别分为积极和消极情绪。
样本数：训练集67， 350个，开发集873个，测试集1, 821个。
任务:情绪分类、正面情绪和负面情绪。
评价准则：accuracy。
标签为1(正面情绪，positive）的样例：
- two central performances
- against shimmering cinematography that lends the setting the ethereal beauty of an asian landscape painting
- the situation in a well-balanced fashion
- a better movie
- at achieving the modest , crowd-pleasing goals it sets for itself
- a patient viewer
标签为0(负面情绪，negative）的样例：
- a transparently hypocritical work that feels as though it 's trying to set the women 's liberation movement back 20 years
- so pat it makes your teeth hurt
- blood work is laughable in the solemnity with which it tries to pump life into overworked elements from eastwood 's dirty harry period .
- faced with the possibility that her life is meaningless , vapid and devoid of substance , in a movie that is definitely meaningless , vapid and devoid of substance
- monotone
- this new jangle of noise , mayhem and stupidity must be a serious contender for the title .
注意注意的是，由于句子来自电影评论，并且有人类的情感注释，它们不同于CoLA整的来说，有些句子很长，有些句子很短，长度不统一。
参考资料： GLUE介绍基准数据集，下载 https://gluebenchmark.com/tasks