从文本中自动合成真实图像将是有趣和有用的，但目前的人工智能系统离这个目标还很远。然而，近年来，人们发展了一种通用的、强大的递归神经网络结构来学习区分文本特征。同时，深度卷积生成对抗网络（GAN）人脸、专辑封面、房间内部等特定类别的吸引人图像已经开始生成。在这项工作中，我们使用它GAN通过有效地桥接文本和图像建模的进展，开发了一种新的深层结构，将视觉概念从字符转化为像素。我们展示了这个模型可以从详细的文本描述中生成鸟和花的图像。

Deep Learning, Generative Adversarial Network, Image Synthesis, Computer Vision

损失函数为： GAN相关数学知识可以看这个博客:简单理解GAN数学原理

为了获得文本描述的视觉辨别矢量表示，文章使用《Learning Deep Representations of Fine-Grained Visual Descriptions》方法，使用循环神经网络文本编码器，学习与图像的对应函数如下。图像分类器和文本分类器，在本文中，图像分类器使用GoogLeNet，使用文本分类器LSTM和CNN。获得文本特征后，需要将文本特征压缩并与图像特征拼接在一起DC-GAN。

训练了一个 基于卷积循环神经网络文本编码器 的 深度卷产生对抗网络（DC-GAN）。生成器网络G和识别器网络D根据文本特征进行前馈推理。 生成器和识别器都使用文本编码φ（t）。 生成器G通过预处理（卷积循环神经网络文本编码器）表达文本信息，然后将其与噪声向量结合起来。在上图中，蓝色矩形表示文本信息的特征，z相应的白色长方体是噪声向量。输入组合向量反卷积网络经过多层处理，最终得到图像。 识别器D将图像卷积操作后，将文本信息与原图像卷积在深度方向上获得的特征向量结合起来，最终获得二值元来判断图像的真实性。

GAN-CLS：匹配感知识别器。在之前的对抗网络中，判别器D的输入包括两种：正确的图片和相应的文本、合成的图片和任何文本。然后，判别器应该识别两种情况：一种是识别合成图片，另一种是真实图片和不匹配的文本。增加了D的输入：真实图像和错误的文本描述。通过这种方法，D可以更好地学习文本描述与图片内容的对应关系。 伪代码为：

GAN-INT：学习流形插值。大量额外的文本嵌入是通过简单地插入训练集文本之间的插入来生成的。关键是，这些插入的文本嵌入不需要与任何实际的书面文本相对应，因此没有额外的标签成本。这是因为深度网络学习的特征是可插入的。 两个代表不同意义的句子A和B，A句子C和B的中间意思embedding会和A和B分别的embedding平均值相对接近。 比如“A：一头牛在吃草B:树上有一只鸟， 深度征插值后可能出现“C：一只牛在树上”，其与A、B的embedding很接近。 1）融合两个文本的公式： beta是融合的比例，论文中取0.5，也就是各个句子融合一半

2）风格迁移公式： S提取生成器一张图像的风格信息，得到s(style)，其次将随机噪声换成提取到的s，s与embedding（t）输入生成器中，生成某风格下的图像。

数据集:使用了CUB(鸟)、Oxford-102（花）。CUB分为有150个训练类集合和50个测试类集合，而Oxford-102有82个训练类集合和20个测试类集合。每个图像配有5个对应文本。

对于文本特征，首先使用了卷积循环神经网络文本编码器进行预训练，即char-CNN+RNN，将其与1024维GoogLeNet图像（Szegedy在2015）嵌入进行结构化联合嵌入。对文本编码器进行预训练的原因只是为了提高训练其他组件的速度，以便更快地进行实验。

训练图像大小设置为64×64×3。文本编码器产生1024维嵌入，在深度连接到卷积特征映射之前，在生成器和鉴别器中投影到128维。采取交替步骤更新生成器和鉴别器网络，学习率设置为0.0002，使用了ADAM solver（动量0.5），生成器的随机噪声从100维单位正态分布取样。Minibatch的大小为64，训练了600个epoch。

所谓内容，我们指的是鸟本身的视觉属性，如身体的形状、大小和颜色。所谓风格，我们指的是图像中所有其他变化因素，如背景颜色和鸟的姿势。文本嵌入主要包括内容信息，通常与样式无关，GAN使用随机噪声来制作风格。使用K-means将图像分组为100个簇，其中来自同一簇的图像共享相同的样式。相同风格（例如相似姿势）的图像之间的相似性应高于不同风格的图像之间的相似性。GAN-INT、GANINT-CLS的模型在这项任务中表现最好。

文章把图像根据图的背景色，鸟或者花的姿态利用k-means聚成了100个类。用训练的CNN网络用G生成的图片预测style，并计算style和其同类与不同类图像的cos相似度。从下图中可看出，文本caption表现出一条直线，说明文本和图像的style是完全没有关系的（ROC曲线越是靠近左上角，灵敏度越高，误判率越低，则诊断方法的性能越好）

通过插值学习的文本流形，通过控制插值可以准确反映颜色信息，例如鸟类从蓝色变为红色，而姿势和背景不变。通过控制两个噪声向量之间进行插值，并保持内容固定，生成两种样式之间平滑过渡的鸟类图像。如下图，左图是保证随机噪声不变，改变两个句子的权重大小（即内容变、风格不变）。右图是保证句子不变，对两个随机噪声做插值（即内容不变风格变）。

作者为了测试泛化性，在MS-COCO数据集上面进行了训练测试。从远处看，结果令人鼓舞，但经过仔细观察，很明显，生成的场景通常不连贯。

开发了一个简单有效的模型，用于根据详细的视觉文本描述生成图像。我们证明了该模型可以合成给定文本标题的许多合理的视觉解释。我们的流形插值正则化器大大改进了CUB上的文本到图像合成。我们展示了风格和内容的分离，以及从查询图像到文本描述的鸟姿和背景转换。最后，我们用MS-COCO数据集上的结果证明了我们生成具有多个对象和可变背景的图像的方法的通用性。

这篇文章是用GAN做文本生成图像的开山之作，作者使用了卷积循环神经网络文本编码器+深度卷积生成对抗网络（DC-GAN）。在此基础上，作者还做了三点改进：

1）GAN-CLS：匹配感知鉴别器，其加入一组：真实图像和错误的文本描述的输入，通过这样的方法，让D能够更好地学习文本描述和图片内容的对应关系。

2）GAN-INT：流形插值学习，在训练集文本的嵌入之间进行插值，增加文本的变化，从而让G具有更强大的生成能力。

3）分离内容和风格：使用随机噪声来制作风格，使用K-means将图像分组为100个簇进行风格阐述。让z能够特征化风格，从而解决文本描述本身不对风格进行任何阐述的问题，随机化的z可以加入不同的风格，从而增加生成样本的真实性与多样性。

补充知识点： 受试者工作特征曲线 （receiver operating characteristic curve，简称ROC），又称为感受性曲线（sensitivity curve）。ROC曲线下面积（the area under the ROC curve, AUC）是指ROC曲线与x轴、x=1围绕的面积，只要ROC曲线下面积大于0.5，就证明该诊断试验具有一定的诊断价值。同时，AUC越接近1证明诊断试验的真实性越好。ROC曲线越是靠近左上角，灵敏度越高，误判率越低，则诊断方法的性能越好。可知ROC曲线上最靠近左上角的ROC曲线上的点其灵敏度和特异性之和最大。

下一篇：Text to image论文精读 StackGAN：Text to Photo-realistic Image Synthesis with Stacked GAN具有堆叠生成对抗网络文本到图像合成

阅读指南：2016~2021 文字生成图像 Text to image（T2I）阅读路线和阅读指南

2021文本生成图像最新综述 阅读报告：Adversarial Text-to-Image Synthesis: A Review