多样性诱导的潜在嵌入多视图聚类.pdf
《多样性诱导的潜在嵌入多视图聚类.pdf》由会员分享,可在线阅读,更多相关《多样性诱导的潜在嵌入多视图聚类.pdf(10页珍藏版)》请在文库网上搜索。
1、CNATURACIENCEMay,20232023年5月JOURNAINIVERSITYVol.59,No.3第59 卷第3期南京大学学报(自然科学)DOI:10.13232/ki.jnju.2023.03.003多样性诱导的潜在嵌入多视图聚类张绎凡12,李女婷1,2,葛洪伟专1,2*(1.江南大学人工智能与计算机学院,无锡,2 1412 2;2.江苏省模式识别与计算智能工程实验室(江南大学),无锡,2 1412 2)摘要:目前,多视图子空间聚类在模式识别和机器学习领域得到了广泛的研究.以前的多视图聚类算法大多将多视图数据划分在其原始特征空间中,其功效在很大程度上隐式地依赖于原始特征呈现的质量
2、.此外,不同视图包含同一对象的特定信息,如何利用这些视图恢复潜在的多样性信息对后续聚类尤其重要为了解决上述问题,提出一种多样性诱导的潜在嵌人多视图聚类方法,使用特定于视图的投影矩阵从多视图数据中恢复潜在嵌入空间.考虑到多视图数据不同视图之间的多样性信息,采用经验的希尔伯特施密特独立准则约束特定于视图的投影矩阵,将潜在嵌人学习、多样性学习、全局相似性学习和聚类指标学习整合在同一框架中,还设计了一种交替优化方案来有效处理优化问题.在几个真实的多视图数据集上的实验表明,提出的算法具有一定的优势。关键词:子空间聚类,多样性,潜在嵌人空间,希尔伯特施密特独立准则中图分类号:TP391.41文献标志码:A
3、Diversity-induced multi-view clustering in latent embedded spaceZhang Yifan2,Li Ting.2,Ge Hongweil.(1.School of Artificial Intelligence and Computer Science,Jiangnan University,Wuxi,214122,China;2.Jiangsu ProvincialEngineering Laboratory of Pattern Recognition and Computational Intelligence,Jiangnan
4、 University,Wuxi,214122,China)Abstract:Currently,multi-view subspace clustering is widely studied in fields of pattern recognition and machine learning.Previous multi-view clustering algorithms mostly partition the multi-view data in their original feature space,while theefficacy of which heavily an
5、d implicitly relies on the quality of the original feature presentation.In addition,different viewscontain specific information in a same object and how to use these views to recover latent diverse information is particularlyimportant for clustering.To solve the above problems,this paper proposes a
6、method named Diversity-induced Multi-viewClustering in Latent Embedded Space(DiMCLES),which uses projection matrix on specific view to recover latent embeddedspace from multi-view data.This paper uses an emprical Hibert Schmidt Independent Criterion to constrain the projectionmatrix on specific view
7、 which considers the diverse information of multi-view data between different views.Latent embeddedlearning,diversity learning,global similarity learning and clustering indicator learning are integrated into a unified framework,and an alternating optimaization scheme is introduced for optimization.E
8、xperiments on several real-world multi-view datasetsverifies the superiorityofour approach.Key words:subspace clustering,diversity,latent embedding space,Hilbert Schmidt Independence Criterion聚类是数据挖掘和模式识别领域中的一个重要分支,是一种无监督的机器学习算法,旨在将数据集分成由类似的数据对象组成的多个类:过去,传统的单视图聚类占主导地位,随着聚类技术基金项目:国家自然科学基金(6 18 0 6 0
9、0 6),江苏省研究生创新计划(KYLX16_0718)收稿日期:2 0 2 3-0 30 1*通讯联系人,E-mail:g h w 8 6 0 1 16 3.c o m389张绎凡等:多样性诱导的潜在人多视图聚类第3期的发展,单一视图提供的信息有限,传统单视图聚类的研究到了瓶颈阶段,因此对同一个数据的多角度描述应运而生.多视图是指从不同角度对同一事物进行描述的视图集合,例如,图像可以通过颜色、纹理、形状等不同特征进行描述,网页数据可以由图像、文本、超链接等进行描述,传感器信号有时域和频域上的分解1.这些都是多视图数据,它们虽然表现出异质性,但本质上具有潜在相关性和多样性多视图聚类旨在利用视图
10、之间互补的特性,分析相互之间的关系,构建完善的约束,最终提升聚类效果.多视图聚类大致可分为四种:(1)基于协同训练的多视图聚类,受协同训练的思想启发,Nigam and Ghani?将最大似然估计的思想与协同训练相结合.KumarandRai3强制不同的视图进行共同正则化,最小化不同视图之间的拉普拉斯矩阵对应的特征向量。(2)基于多核学习的多视图聚类方法,旨在探索多视图数据的非线性结构.Huang etal41提出一种同时执行多视图聚类任务并学习内核空间汇总相似性关系的模型.由于该模型没有考虑权重分配问题,Liuetal5根据每个视图的每个内部簇分配的权重提出一种用于多视图聚类的聚类加权核k均
11、值方法.(3)基于图学习的多视图聚类方法,目标是在所有视图中找到融合图.Zhanetal6提出一种根据每个视图的优化图获得全局图的多视图谱聚类.(4)基于子空间学习的多视图聚类方法.Wang etal7为了提高信息互补的实际效果,增强了不同视图对应的子空间之间的排他性.Zhang et al8)采取增强信息互补的另一种思路,设计自适应样本加权策略以及自适应低级多内核学习来加强子空间自表示,这些方法大都直接计算数据集中的原始特征,存在噪声与误差,不能很好地适应较多视图的数据.针对上述问题,Zhang et al提出潜在嵌入空间的概念,通过间接方法获取数据集中的特征,并利用该潜在嵌人表示进行聚类.
12、Huang et al101在Zhangetal8的研究基础上提出共享信息的优化,使潜在嵌人表示更准确.由于现有的二次规划求解较复杂,Chen et al1l将二次规划求解法改进为拉格朗日乘子法,进一步提升潜在嵌入多视图聚类算法的效率.MCLES(Multi-View Clusteringin Latent Embedding Space)12 在 Zhang et al 的基础上结合全局相似性学习以及聚类指标学习进行聚类,取得了较好的效果.但上述方法在潜在嵌人学习过程中仅仅注意了投影矩阵的相关约束,没有充分利用视图之间隐藏的多样性信息,缺少局部信息的约束项,导致潜在嵌人空间存在部分信息无法被
13、合理利用的问题.为了解决上述问题,提出一种多样性诱导的潜在嵌人多视图聚类算法,多样性指从不同视角学习的子空间表达式具有足够的独立性,能够有效地利用不同视图之间的互补信息.该方法将希尔伯特施密特独立准则(HilbertSchmidtIndepen-dence Criterion,HSIC)与 MCLES融合在一个框架中,利用HSIC平衡不同投影矩阵之间的多样性,提升潜在嵌入学习的结果;同时,对潜在嵌人空间进行全局相似性学习和聚类指标学习,得到一致性亲和矩阵对应的谱嵌入矩阵,并通过k-means得到最终的聚类结果.在六个公开数据集上进行的实验证明该算法具有一定优势。1相关理论1.1行符号与定义本文
14、中,粗体大写字母表示矩阵,粗体小写字母表示向量,小写字母表示标量.定义一个具有V个视图、N个样本数据的多视图数据集X=Xi,X,X)E R(2x.D),其中,Di表示第i个视图的维度.对于矩阵X,X,表示第i行,Xi,表示第i行第j列的元素.Tr(X),XT和X,分别表示矩阵X的秩、转置和Frobenius范数.1表示单位矩阵,1表示元素全为1的列向量。1.2潜在嵌入空间MCLES中的潜在嵌人空间方法为每个数据点推断一个共享的潜在表示RERdxN,其中,d为潜在嵌人空间的维度,假设所有不同的视图都起源于一个潜在的表示R.具体地,如图1所示,不同视图可以用它们各自的投影矩阵(Pl,P)进行重构,
15、其中,PERDxd,每个视图的样本数据表示为X=PR,i=1,2,.V,并具有共享的潜在表示R.潜在嵌人空间方法和子空间自表示方法相比是一种全新的理论方390第59 卷南京大学学报(自然科学)X2P2R图1潜在嵌入空间示意图Fig.1Latentembedding space法,能够较全面地恢复数据隐藏的空间结构,对最后的聚类效果有较好的提升。MCLES最终的目标函数式如下:minlX-PR,+R-RZI,+zI,+P,R,Z,FTr(FTLzF)s.t.|P.1,z.1=1,021,(1)X7PFTF=I,X=:,P.LXYLP其中,R-RZ+Z表表示全局相似性学习,用于增强学习得到的一致性
16、亲和矩阵的鲁棒性以及准确性;ZERNXN是一致性亲和矩阵;yTr(FTLzF)表示聚类指标学习;矩阵Z的拉普拉斯矩阵定义为Lz=D一(zT+Z)/2;度矩阵D是矩阵乙的对角矩阵,且其第i个对角元素为Z,(+)/2;F是谱嵌人矩阵,通过计算矩阵Z的c个最大特征值对应的c个特征向量得到谱嵌人矩阵F的解.最终的聚类结果可通过谱嵌入进行k-means(13得到.2多样性诱导的潜在嵌入多视图聚类2.1算法模型根据式(1)的目标函数可知,MCLES在数据样本矩阵和投影矩阵的学习过程中仅仅注意了潜在嵌人学习,缺少局部信息的约束项.多视图数据在不同视图之间具有差异,即多样性信息,所以MCLES忽略了不同视图之
17、间的多样性.为了解决这个问题,受Cao et al14的启发,采用经验的HSIC约束特定于视图的投影矩阵.HSIC具有以下特性:(1)通过将变量映射到一个再生希尔伯特空间来度量变量之间的依赖性,因此可以度量变量之间较复杂的关联,适用于非线性相关的情况;(2)在测量变量依赖性时,不需要估计变量的联合分布,具有计算优势;(3)经验的HSIC可以被证明等价于矩阵乘积的迹运算,使方法更易求解且具有良好的收敛性因此,引人HSIC可以更好地平衡不同视图矩阵之间的独立性和相关性。给定2:=(1,y1),.,(cym)/二xy,2为用于产生一系列n个联合分布Pz的独立观测数据.经验HSIC记作HSIC(Z,F
18、,9),可以被写成如下形式:HSIC(Z,F,g)=(n-1)-Tr(KHLH)(2)其中,K,LERx是Gram矩阵且有k,=k(ai,a),l=k(yi,y,),k(,a,)和k(yi,y,)分别是和y上的核函数.hj=;一1/n将Gram矩阵中心化,使数据在特征空间具有零均值。利用经验性HSIC约束可以更真实地反映不同视图之间的关系,提出多样性诱导的潜在嵌人多视图聚类模型(DiMCLES).目标函数如下:minX-PR+HSIC(P,P)+P,R,Z.Fn丰m潜在嵌入学习多样性学习alR-RZI,+pz,+Tr(FTLzF)全局相似性学习聚类指标学习(3)s.t.|.l1,z.1=1,0
19、z1,XP17FTF=I,X=,P=XYPV2.2算法优化在得到目标函数后采用交替送代对目标函数求解,以下是求解的详细过程。固定R,Z,F,求解P,去除无关项,式(3)等价于优化以下问题:mjin|X-PR I,+HSIC(P,P)Pn牛m(4)s.t.P直接计算矩阵P较困难,为了有效地解决这个问题,将其划分为V个子问题:minIX-PR+入ZHHSIC(P,P)P九m(5)P在计算P时,矩阵P(nm)是固定的.为了方便,采用内积核作为HSIC的内核,即K=pmTpm,因此HSIC可以写成:5.矩阵F由Lz=DZT+Z)/2的前c个最小特4.通过式(15)优化Z的第i列通过式(11)优化R2.
20、通过式(8)优化P1.重复执行P,零初始化Z,随机初始化,使用PCA降维度初始化R初始化:对数据集X列归,通过式(12)12 初始化X1X聚类个数C.超参数,,入和d有V个视图的多视图数据集X=输入DiMCLES算法391张绎凡等:多样性诱导的潜在嵌人多视图聚类第3期HSIC(P,P)=2Tr(HKHK)=n=1,ntm(6)Tr(HPmT pHK)=Tr(PKPT)其中,K=HKH,式(5)转变为:n=1.nmmin X-PR+aTr(PKpmT)Pm(7)V1,K=儿HKHn=1,nm对式(7)求偏导并令其为零,得到矩阵针对每个视图的更新式:P=(2XRT)*(2RRT+(K+KT)(8)
21、固定P,Z,F,求解R,去除无关项,式(3)等价于优化以下问题:minll X-PR,+lR-RZR(9).|P.1,z.1=1,021s.t.使用交替向乘子法(AlternatingDirectionMethod of Multipliers,A D M M),引人辅助变量A1,A2代替R,得到相对应的增广拉格朗日函数为:L(A1,A2,Y)X-PAl,+A2-A,ZIA;-Ai+Y Is.t.A1=A2=R,Z.1=1,0Z1(10)对A,和A,求偏导并令其为零,得到A1,A2以及Y的更新式:A1=(2PTP+l)*(2PTX+A2+Y)A,=(Ai-Y)(2a(I-z)(I-z)+r)(
22、11)Y=Y+(A2-A.)固定P,R,F,求解Z,去除无关项,式(3)等价于优化以下问题:min llR-RZ l,+z,+Tr(FTLzF)(12)Zs.t.Z.1=1,0Z1,FTF=I为方便求解,引人变量M,令M=ZTZ,式(12)可以写成以下形式:min Tr(M-2MZ+ZTMZ)+ZTr(FTLzF)(13)s.t.Z.1=1,0Z1,FTF=I对式(13)按列展开得到:minMi.-2M.,Z.,+z.MZ.Z.Z.+Z.diz.(14)2s.t.z.1=1,0z1其中,d,ERx1是一个列向量,其第j个元素d,=Fi.一Fj.,则式(14)简化为:min z.(M+Z+26T
23、-2M.22.(15)Z.s.t.z.1=1,0z1式(15)是一个标准的二次规划问题,可用现成的二次规划包15 对其进行求解,固定P,R,Z,求解F,去除无关项,式(3)等价于优化以下问题:minTr(FTLzF),s.t.FTF=I(16)F通过计算矩阵Z的c个最大特征值对应的c个特征向量得到谱嵌入矩阵F的解,2.3算法流程和时间复杂度分析算法流程如下所示,征值对应的特征向量构成6.直到算法达到最大选代次数输出:谱嵌人矩阵F在更新P时,算法复杂度为O(ZY,D)Nd);在更新R时,ADMM算法的时间复杂度为 0(ZY,D);在更新Z时,二次规划的时间复杂度为O(N3);在更新F时,算法的时
24、间复杂度为O(cN).因此,对于每一次迭代,算法的时间复杂度为((ZY,D)Nd+(Z,D)d+N+cv)392第59 卷南京大学学报(自然科学)3实验设置3.1楼数据集介绍在六个广泛使用的数据集上进行相关实验:3Soursesl,Notting-Hi1Yale12,MSRCv112,ORL12,BBCSport12.数据集的具体信息如表1所示。表1实验使用的数据集介绍TablelIntroduction of datasets used in experiments数据集3SourcesNotting-HillYaleMSRCv1ORLBBCSport类别数65157405样本数169550
25、165210400544视图数3334323Sourses:是多来源的新闻数据集,包含来自BBC、卫报和路透社的新闻,由来自六个类的16 9个新闻对象组成,实验中使用了三个视图,分别为BBC(视图1)、卫报(视图2)和路透社(视图3).Notting-Hill:是从电影Notting-Hill中获得的视频人脸数据集,包含46 6 0 张人脸图像,每个演员为一个类别,选择五个主要演员的面孔,随机采样每个演员的110 张面部图像.实验中使用了三个视图,分别是强度特征(视图1)、LBP特征(视图2)和Gabor特征(视图3).Yale:是广泛使用的人脸图像数据集,由15个不同主题的灰度图像组成,每个
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 多样性 诱导 潜在 嵌入 视图