研究生科研创新基金2019年成果简介之六

日期:2019-06-20作者:点击:

我校计算机学院2016级博士研究生胡鹏承担的“基于多视图学习的异构识别的研究”研究生科研创新基金课题,近期在《Knowledge-Based Systems》(IF=4.396)、《IEEE Transactions on Image Processing》(IF=5.071)和《International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR)》等国际级期刊和会议上发表系列研究成果,导师彭德中教授为该系列成果的通讯作者。

(1)       多视图对抗网络

针对多视图学习中潜在的对抗学习行为,本课题提出了一种多视图对抗网络,用于将多视图数据投影到一个公共空间中,在这个空间中不同视图之间的相似性可以通过相同的距离测量直接计算。本课题提出的方法由多个特定于视图的生成器,判别器和多视图判别分析(MDA)的损失函数组成。通过对抗学习,生成器与判别器相互对抗以消除模态相互之间的差异。此外,提出了一种新的MDA损失函数,尽可能多地将判别信息保存到生成的公共表征的所有可用维度中。但是,直接优化MDA的迹准则会导致一些问题。具体而言,判别函数将过分强调:1)已经分离的类之间的较大距离,2)最大的几个特征值。这些问题可能导致对公共表征的不良判别性。为了解决这些问题,本课题提出了一种类间策略和一种特征值策略,分别削弱了最大的类间差异和主导的特征值。为了验证所提方法的有效性,在四种广泛使用的多视图数据库上进行了大量的实验,与15种现有的方法进行了比较。利用对抗学习,能够使得公共空间中的跨模态差异尽可能地被缩小。

该研究以“Multimodal adversarial network for cross-modal retrieval”为题,发表在国际著名期刊《Knowledge-Based Systems》上,胡鹏为该研究的第一作者。

(2)   多视图线性判别网络

为了消除复杂的(通常是高度非线性)视图差异使其有利于跨模态识别和检索,本课题提出了一个多视图线性判别分析网络,它可以用来寻找在多个视图之间共享的具有非线性判别和视图不变的表征。与现有的直接学习公共空间以缩小视图距离的多视图方法不同,本课题提出的MvLDAN采用多个前馈神经网络(每个视图对应一个网络)和一个新的基于特征值的多视图目标函数来封装尽可能多的判别差异到所有可用的共同特征维度中。利用所提出的目标函数,在所学习的多视图空间中,可以将所获得的深度特征投影到潜在的公共空间中,其中来自同一类的样本尽可能彼此接近(即使它们来自不同视图),并且来自不同类别的样本尽可能彼此相距很远(即使它们来自同一视图)。为了验证所提方法的有效性,该方法在五个数据集上1种现有方法进行比较,实验结果表明该方法在跨模态识别与检索任务上达到了目前的较高水平。

该研究以“Multi-view linear discriminant analysis network”为题,发表在国际著名期刊《IEEE Transaction on Image Processing》上,胡鹏为该研究的第一作者。

(3)       可扩展多视图学习

针对如何高效地应对大规模的多视图数据以及新增视图,本课题提出了一种新的跨模态检索方法,称为可扩展深度多视图学习(SDML)。目前众多研究者提出了一些跨模态检索方法,这些方法以联合方式学习公共子空间,其在整个训练过程中必须涉及所有视图的数据。对于这些方法,在处理来自新视图的样本时必须重新训练整个模型。针对这样的问题,本课题提出了一个预定义的公共子空间,其中类间变化最大化,而类内变化最小化。然后,SDML将多视图数据分别转换到预定义的公共子空间,以实现多视图学习。与许多现有方法不同,该方法可以独立地训练不同的视图特定网络,因此可以扩展视图的数量。在四个广泛使用的基准数据集上的实验结果表明所提出方法在多视图学习中是有效的,并且优于跨模态检索中的现有方法。该方法可以高效地应对大规模的视图以及不断新增的视图。

       该研究以“Scalable deep multimodal learning for cross-modal retrieval”为题,发表在国际顶级会议《International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR)》上,胡鹏为该研究的共同第一作者。


关闭

地址:(望江校区)成都市一环路南一段24号|邮编:610065|(华西校区)成都市人民南路三段17号|邮编:610065|(江安校区)成都市双流区川大路2号|邮编:610065

咨询电话及地址:望江校区研究生院3区139  |  028-85403337 | 院长信箱:gsscu@scu.edu.cn