认识达内从这里开始

2017年8月，在图像描述生成技术这一热门的计算机视觉与NLP交叉研究领域，腾讯AI Lab凭借自主研发的强化学习算法在 微软 MS COCO相关的Image Captioning任务上排名一，超过了微软、 谷歌 (微博)、 IBM 等参赛公司，体现了在这一AI前沿领域的技术优势。

MS COCO (Microsoft Common Objects in Context，常见物体图像识别)数据集(#/)是由微软发布并维护的图像数据集。在这个数据集上，共有物体检测 (Detection)、人体关键点检测 (Keypoints)、图像分割 (Stuff)、图像描述生成 (Captions)四个类别的比赛任务。由于这些视觉任务是计算机视觉领域当前受关注和有代表性的，MS COCO成为了图像理解与分析方向重要的标杆之一。其中图像描述生成任务(Captions)，需要同时对图像与文本进行深度的理解与分析，相比其他三个任务更具有挑战性，因此也吸引了更多的工业界(Google，IBM，Microsoft)以及国际顶尖院校(UC Berkeley、Stanford University)的参赛队伍，迄今共有80个队伍参与这项比赛。

通俗来说，图像描述生成(image captioning)研究的是使机器拥有人类理解图像的能力，并用人类语言描述感知到的图像内容。图像描述生成使得机器可以帮助有视觉障碍的人来理解图像，给图像提供除了标签(tag)以外更加丰富的描述，因此这项任务具有广泛的实际意义。从学术研究的角度来说，图像描述生成的研究不仅仅需要理解图像，更需要理解自然语言，是一个跨学科跨模态的交叉研究课题，也是对深度神经网络的学习能力向多个数据域扩展的一步重要的探索。因此，众多科技企业和科研机构参与了此任务，包括Google [1][3]、Microsoft [5]、IBM [2]、Snapchat [4]、Montreal/Toronto University [6]、UC Berkeley [7]、 Stanford University [8]、 百度 [9]等。

腾讯AI Lab研发了新的强化学习算法(Reinforcement Learning)以进一步提高图像描述生成的模型能力，如上图所示。相应的图像描述生成模型，采用了编码器-解码器(encoder-decoder) [1] 的框架，同时引入了注意力(attention)的机制 [3]。基于之前研究的空间和通道注意力模型 (spatial and channel-wise attention)[10]的研究成果, AI Lab构建了新网络模型引入了一个多阶段的注意力机制(Multi-stage Attention)。编码器，使用已有的图像卷积神经网络(CNN)如VGG，Inception，ResNet等，将给定的图像编码成为蕴含图像语义信息的向量。这些向量能够表征图像不同尺度的语义信息，譬如全局的语义、多尺度的局部语义。解码器，使用当前流行的长短时记忆模型(LSTM)，将编码器得到的图像的全局和局部语义向量，解码生成描述图像内容的文本语句。正是在解码的过程中，AI Lab创新性地使用了多阶段的注意力机制：将图像不同尺度的局部语义信息，通过不同阶段的注意力模块，嵌入到每一个单词的生成过程中;同时注意力模块需要考虑不同尺度引入的不同阶段的注意力信号强弱。

除了引入多阶段的注意力机制，AI Lab所研发的强化学习算法能进一步提升构建的网络模型的训练效果。使用传统的交叉熵(cross entropy)作为损失函数进行训练，无法充分地优化图像描述生成的衡量指标，譬如BLEU，METEOR，ROUGE，CIDER，SPICE等。这些衡量指标作为损失函数都是不可微的。针对此不可微的问题，AI Lab使用强化学习算法训练网络模型以优化这些衡量指标。训练过程可概括为：给定一副图像，通过深度网络模型产生相应的语句，将相应的语句与标注语句比对以计算相应的衡量指标;使用强化学习构建深度网络模型的梯度信息，执行梯度下降完成网络的终优化。通过充分的训练，腾讯AI Lab研发的图像描述生成模型在微软MS COCO的Captions任务上排名一，超过了微软、谷歌、IBM等科技公司。

IT作为目前有前景、有钱景的行业，无数的人加入了这个大军当中。达内时代科技集团致力于培养几大方向中高端软件人才课程与少儿教育课程。合肥计算机培训助你一臂之力，更多免费训练营让你从零起步。

【免责声明】本文系本网编辑部分转载，转载目的在于传递更多信息，并不代表本网赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题，请在30日内与管理员联系，我们会予以更改或删除相关文章，以保证您的权益！