多视图聚类论文阅读(二)

Deep multi-view semi-supervised clustering with sample pairwise constraints

Neuro Compucting

  • 基于样本对约束的深度多视图半监督聚类

1.1 聚类的相关工作

典型相关分析(CCA)[13]寻求两个投影,将两个视图映射到一个低维公共子空间,其中两个视图之间的线性相关性最大。内核典型相关分析(KCCA)[14]通过在CCA中加入内核技巧来解决更复杂的相关性。

多视图子空间聚类(Multi-view subspace clustering, MvSC)方法[15-20]旨在利用多视图数据揭示潜在的聚类结构,大多数方法通常设计多视图正则化器来描述不同格式特征之间的访问视图关系。近年来,各种基于dnns的多视图学习算法相继出现。深度典型相关分析(DCCA)[21]和深度典型相关自编码器(DCCAE)[22]成功地利用了dnn的非线性映射优势,提高了CCA的表示能力。

深度广义典型相关分析(DGCCA)[23]将深度表示学习的有效性与整合来自两个以上独立视图的信息的泛化相结合。深度嵌入多视图聚类(Deep embedded multi-view clustering, DEMVC)[25]通过协同训练机制从多个视图中学习一致和互补的信息,提高聚类效果。自动编码器网络(AE2)中的自动编码器[26]联合学习每个视图的特定视图特性,并使用一个深层嵌套的自动编码器框架将它们编码成一个完整的潜在表示。

认知深度不完全多视图聚类网络(CDIMC)[27]融合了DNNs预训练、图嵌入和自步长学习,在保持数据局部结构的同时增强了边缘样本的鲁棒性,取得了优异的性能。

认知深度不完全多视图聚类网络(CDIMC)[:
J. Wen, Z. Zhang, Y. Xu, B. Zhang, L. Fei, and G. Xie, ‘‘CDIMC-net: Cognitive deep
incomplete multi-view clustering network, in International Joint Conference
on Artificial Intelligence, pp. 3230–3236, 2020.

1.1.1 深度聚类

利用堆叠自动编码器(stacked autoencoder, SAE)挖掘输入数据的高级表示,然后在辅助目标分布的帮助下,迭代优化基于KL发散的聚类目标。Guo等人[41]进一步提出将SAE的重构损失整合到DEC目标中,以避免嵌入空间的腐蚀,取得了明显的进步。Yang等人[42]将基于sae的面向集群降维和K-means[1]聚类结合在一起,共同提高两者的性能,这就需要另一种优化策略来离散更新集群中心、集群伪标签和网络参数。Guo et al.[43]和Chen et al.[47]利用硬加权自定步速学习的经验,在聚类网络训练中优先考虑高置信度样本,以缓冲离群值的负面影响,稳定整个训练过程。Ren等人利用先验信息克服了DEC无法引导聚类的弱点。Li et al.[45]在卷积特征提取器和软分配模型的帮助下,提出了一个有区别的增强聚类框架。Fard等人[46]提出了一种联合聚类的方法,通过重新考虑K-means损失作为一个可微函数的极限,从而触发一个真正的解决方案。

1.1.2 多视图聚类

多视图聚类[39,40,49,50]的目的是利用现有的多视图特征学习常用的表示,并进行聚类以获得数据分区。对于浅层方法,Cai等[51]通过引入跨视图共享指标矩阵,提出了一种鲁棒的多视图K-means聚类(RMKMC)算法。Xu等人[52]开发了一个改进版本的RMKMC学习多视图模型,同时考虑了样本和视图的复杂性,缓解了局部极小问题。Zhang et al.[53]将每个视图分解为两个具有特定约束的低秩矩阵,并采用传统的聚类方法对对象进行分组。典型相关分析(canonical correlation analysis, CCA)[13]是最重要的学习范式之一,它将两个视图投射到一个紧凑的集体特征域,在这个特征域中,两个视图的线性相关性最大。

随着深度学习的发展,近年来出现了多种深度多视图聚类方法。Andrew et al.[21]尝试通过深度典型相关分析(DCCA)学习两个视图的非线性变换来搜索线性相关表示。作为对DCCA的改进,Wang等人[22]添加了基于自动编码器的术语来刺激模型性能。为了解决上述两种技术只能应用于两个视图的瓶颈,Benton et al.[23]进一步提出从覆盖两个以上视图的数据中学习紧凑表示。最近,Xie等人[24]引入了两种深度多视图联合聚类模型,其中可以同时学习多个潜在嵌入、加权多视图学习机制和聚类预测。Xu等[25]采用协同训练策略,交替共享辅助分布,实现一致的多视图聚类分配。Zhang et al.[26]精心设计了一个嵌套式自动编码器,将来自异构源的信息整合到一个完整的表示中,灵活平衡了多个视图之间的一致性和互补性。Wen等人[27]将特定视图的深度特征提取器和图嵌入策略结合在一起,为每个视图捕获鲁棒的特征和局部结构。

1.1.3 半监督聚类

半监督学习是介于无监督学习和监督学习之间的一种学习范式.
在半监督聚类中,成对约束经常被用作一种先验知识来指导训练过程,因为成对约束在聚类数量不可达的情况下易于实际和灵活地获得。事实上,成对约束可以形象地表示为“必须链接”(ML)和“不能链接”(CL),用于记录给定数据集中两个示例之间的成对关系。在过去的几年中,带有成对约束的半监督聚类已经成为一个活跃的研究领域。例如,文献[28,29]通过对约束进行两两积分,改进了经典的Kmeans。Kamvar et al.[30]基于修改相似矩阵的思想,在谱聚类(SC)[3]中加入约束,使ML和CL都能得到很好的满足。Chang et al.[31]提出将聚类任务重新建立为二值两两分类问题,在6个图像数据集上显示出优异的聚类结果。Shi等人的[32]利用成对约束来满足人脸聚类场景中性能的增强。Wang et al.[33]提出了软的两两约束来配合模糊聚类。

成对约束的关键: 提供何种约束作为条件。

在多视图学习领域,也存在各种基于成对约束的半监督应用。Tang等人[18]精心设计了一种半监督的MvSC方法,在一种新的正则化器的帮助下培养表征学习。Nie等[34]以半监督的方式同时进行多视图聚类和局部结构揭示,学习数据的局部流形结构,取得了令人满意的聚类性能。Qin等人[35]通过联合学习多个亲和矩阵、编码映射、潜在表示和块对角结构诱导的共享亲和矩阵,获得一个理想的共享亲和矩阵来实现半监督子空间学习。Bai等人[36]加入了多视图约束,以缓解某一特定视图的不精确约束的影响,从而发现一种理想的聚类效果。由于篇幅有限,请感兴趣的读者参考[37,38]进行全面了解。

1.2 提出的问题

提出问题:

  • 多视图聚类技术多数方法都忽视了弱监督信息的重要性, 以往的聚类方法都没有充分利
    用半监督先验知识来指导多视图聚类。众所周知,成对约束在实践中很容易获得,在许多半监督学习场景中经常被使用[28-30]。

现有的大多数研究在微调过程中往往会抛弃解码网络,而忽略了特征属性的保存。这种
操作可能会严重破坏视图特定和视图共享的特征空间,从而影响集群性能。

提出的解决方法

  • 将自监督学习引入到了多视图聚类任务中;

在网络细调过程中联合优化了三种损失,
包括多视图聚类损失、半监督对约束损失和多自编码器重构损失。
具体来说,

聚类损失 : 对多视图数据的共同表示施加基于 KL散度的多视图聚类损失,同时进行异构特征优化、多视图加权和聚类预测。

提出将成对约束集成到多视图聚类过程中,为了使形成的聚类体系结构更加可信。
使用的方法是将学习到的must-link样本(can -link样本)的多视图表示形式增强为相似(不相似)。

总结而言, 这篇文章的主要的贡献点, 将多视图聚类的任务 中引入了 半监督,
而半监督 是通过使用 用户给定的 成对约束 作为 弱监督来引导聚类学习。

成对约束介绍:
S. Basu, A. Banerjee, and R.J. Mooney, ‘‘Active semi-supervision for pairwise
constrained clustering, in International Conference on Data Mining, pp. 333–
344, 2004.
[29] P. Bradley, K. Bennett, A. Demiriz, Constrained k-means clustering, Microsoft
Research (2000).
[30] S.D. Kamvar, D. Klein, and C.D. Manning, ‘‘Spectral learning, in International
Joint Conference on Artificial Intelligence, pp. 561-566, 2003

2. propose method

Semisupervised Progressive Representation Learning for Deep Multiview Clustering

  • 面向深度多视图聚类的半监督渐进表示学习

1.1

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/151927.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

pycharm2023 实现鼠标点击某行,调试时代码运行至相应行

按下图取消 Breakpoints Over Line Numbers即可,然后调试时点击某行,代码就会运行至某行

图的基础知识(数据结构)

(1)已知无向图G各边的权值均为1,下列算法中一定能够求出G中从某个顶点到其余各个顶点的最短路径的是(III) I 普利姆算法 II 克鲁斯卡尔算法 III 图的广度优先搜索 (2)已知无向图中含有16…

【鸿蒙应用ArkTS开发系列】- 云开发入门简介

目录 概述开发流程工程概览工程模板工程结构 工程创建与配置 概述 HarmonyOS云开发是DevEco Studio新推出的功能,可以让您在一个项目工程中,使用一种语言完成端侧和云侧功能的开发。 基于AppGallery Connect Serverless构建的云侧能力,开发…

C#具名参数(Named Parameters)

在 C# 中,具名参数(Named Parameters)是一种在方法调用中使用参数名称来指定参数值的技术。通常情况下,我们使用位置参数(Positional Parameters)来按照方法参数的顺序传递参数值。但是,使用具名…

windows Oracle Database 19c 卸载教程

目录 打开任务管理器 停止数据库服务 Universal Installer 卸载Oracle数据库程序 使用Oracle Installer卸载 删除注册表项 重新启动系统 打开任务管理器 ctrlShiftEsc可以快速打开任务管理器,找到oracle所有服务然后停止。 停止数据库服务 在开始卸载之前&a…

golang学习笔记——多态

接口体现多态的两种形式 多态参数 在前面的Usb接口案例,Usb usb,即可以接收手机变量,又可以接收相机变量,就体现了Usb接口多态 多态数组 演示一个案例:给Usb数组中,存放Phone结构体和Camera结构体变量&…

C++数据结构:并查集

目录 一. 并查集的概念 二. 并查集的模拟实现 2.1 并查集类的声明 2.2 并查集的实现 三. 路径压缩 四. 总结 一. 并查集的概念 在生活中,我们经常需要对某一些事物进行归类处理,即:将N个不同的元素划分为几个互不相交的集合。在初始状态…

镭速,克服UDP传输缺点的百倍提速传输软件工具

在网络传输中,我们经常会面临这样的困难:文件太大,传输速度太慢,浪费时间和流量;文件太小,传输速度太快,容易出现丢包和乱序,损害数据的完整性和正确性。这些困难的根本在于传输层协…

var log逃逸

利用前置 1.root用户 2.有serviceaccount读取log 3. 挂载var log目录 apiVersion: v1 kind: ServiceAccount metadata:name: logger --- apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRole metadata:name: user-log-reader rules: - apiGroups: [""]r…

单图像3D重建AI算法综述【2023】

计算机视觉是人工智能的一个快速发展的领域,特别是在 3D 领域。 本概述将考虑一个应用任务:2D 和 3D 环境之间的转换。 在线工具推荐: Three.js AI纹理开发包 - YOLO合成数据生成器 - GLTF/GLB在线编辑 - 3D模型格式在线转换 - 可编程3D场景编…

小红书为什么没人看,小红书爆款标题怎么写?

作为快节奏的社会,人们追求的是不仅仅是高价值更是高性价比,和吸引度。而标题类似于门面,吸引程度自然作为重中之重。今天我们和大家分享下小红书为什么没人看,小红书爆款标题怎么写? 以母婴类型为例子,母婴…

《云计算:云端协同,智慧互联》

《云计算:云端协同,智慧互联》 云计算,这个科技领域中的热门词汇,正在逐渐改变我们的生活方式。它像一座座无形的桥梁,将世界各地的设备、数据、应用紧密连接在一起,实现了云端协同,智慧互联的愿…

网络参考模型与标准协议(二)-TCP/IP对等模型详细介绍

应用层 应用层为应用软件提供接口,使应用程序能够使用网络服务。应用层协议会指定使用相应的传输层协议,以及传输层所使用的端口等。TCP/IP每一层都让数据得以通过网络进行传输,这些层之间使用PDU ( Paket Data Unit,协议数据单元)彼此交换信…

Ubuntu(Linux)的基本操作

基本操作三步走 1、输入vim code.c点击i(出现insert)表示可以编辑代码编辑代码之后按下esc(退出编辑模式)按下shift:(冒号)wq(退出文件)2、输入gcc code.c(进行编译代码…

【知识增强】A Survey of Knowledge-Enhanced Pre-trained LM 论文笔记

A Survey of Knowledge-Enhanced Pre-trained Language Models Linmei Hu, Zeyi Liu, Ziwang Zhao, Lei Hou, Liqiang Nie, Senior Member, IEEE and Juanzi Li 2023年8月的一篇关于知识增强预训练模型的文献综述 论文思维导图 思维导图网页上看不清的话,可以存…

软件测试:测试分类

一. 按照测试对象划分 1.1 界面测试 界面测试(简称UI测试),按照界面的需求(UI设计稿)和界面的设计规则,对我们软件界面所展示的全部内容进行测试和检查,一般包括如下内容: • 验证界面内容的完整性,一致性,准确性,友好性,兼容性.比如页面内容对屏幕大小的自适应,换行,内容是否…

GNU Radio 教程

初学者教程 GNU 无线电简介 什么是 GNU 无线电?安装 GNU 无线电你的第一个流程图 流程图基础知识 GRC 中的 Python 变量流程图中的变量运行时更新变量信号数据类型转换数据类型包装位流和向量层次块和参数 创建和修改 Python 块 创建你的第一个块带向量的 Pyt…

Leetcode_45:跳跃游戏 II

题目描述&#xff1a; 给定一个长度为 n 的 0 索引整数数组 nums。初始位置为 nums[0]。 每个元素 nums[i] 表示从索引 i 向前跳转的最大长度。换句话说&#xff0c;如果你在 nums[i] 处&#xff0c;你可以跳转到任意 nums[i j] 处: 0 < j < nums[i] i j < n 返…

Leetcode—206.反转链表【简单】

2023每日刷题&#xff08;三十三&#xff09; Leetcode—206.反转链表 头插法实现代码 /*** Definition for singly-linked list.* struct ListNode {* int val;* struct ListNode *next;* };*/ struct ListNode* reverseList(struct ListNode* head) {if(head NULL…

ajax,axios,fetch

文章目录 ajax工作原理ajax发请求四个步骤创建xmlhttprequest对象设置请求方式设置回调函数发送请求 自封装ajax axiosaxios 特性如何用配置拦截器fetch 三者区别 ajax 工作原理 Ajax的工作原理相当于在用户和服务器之间加了—个中间层(AJAX引擎)&#xff0c;使用户操作与服务…