无监督学习:从理论到实践的全面指南

本文深入讲解了无监督学习中的K-means、层次聚类、密度聚类、PCA、t-SNE和自编码器算法,涵盖其原理、数学基础、实现步骤及应用实例,并提供了详细的代码示例。

关注作者,复旦AI博士,分享AI领域全维度知识与研究。拥有10+年AI领域研究经验、复旦机器人智能实验室成员,国家级大学生赛事评审专家,发表多篇SCI核心期刊学术论文,上亿营收AI产品研发负责人。

file

一、无监督学习概述

1.1 无监督学习的定义与背景

无监督学习(Unsupervised Learning)是一类机器学习任务,其中算法在没有标签的情况下,从未标记的数据中学习模式和结构。与有监督学习不同,无监督学习不依赖于预定义的输出,而是从数据本身提取信息,用于发现数据的内在规律和特征。

背景

无监督学习的应用背景非常广泛,尤其是在数据标注成本高昂或数据标签缺失的领域中。例如,生物信息学中的基因表达分析、天文学中的星系分类、社交网络分析中的社区检测等。随着数据规模的不断增长,无监督学习的重要性也日益凸显。

1.2 无监督学习的应用场景

无监督学习在许多领域中都有广泛的应用。以下是一些典型的应用场景:

数据聚类

数据聚类是无监督学习的一种主要任务,旨在将相似的数据点分组。例如,市场营销中的客户细分、图像处理中的图像分割、文本分析中的文档聚类等。

降维

降维技术用于减少数据的维度,以便更好地可视化和分析数据。例如,主成分分析(PCA)和t-SNE常用于高维数据的降维和可视化,帮助研究人员发现数据中的潜在结构和模式。

异常检测

无监督学习还用于检测数据中的异常点或异常模式。例如,在网络安全中检测异常流量,在金融行业中检测异常交易行为等。

1.3 与有监督学习的区别

数据依赖性

有监督学习依赖于大量标记数据进行训练,模型通过已知的输入-输出对进行学习。无监督学习则不需要标记数据,完全依赖数据的内在结构进行学习。

目标导向

有监督学习的目标是预测或分类,例如图像分类、语音识别等。无监督学习的目标是发现数据的模式和结构,例如聚类、降维等。

复杂性与挑战

无监督学习的挑战在于其不确定性。由于缺乏标签,评估无监督学习模型的效果往往更加复杂,需要依赖于外部指标或人为判断。

1.4 主要技术方法

聚类算法

聚类算法是无监督学习中最常见的技术之一。其目的是将相似的数据点分组,使同一组内的数据点尽可能相似,而不同组之间的数据点尽可能不同。常见的聚类算法包括K-means、层次聚类和DBSCAN。

降维技术

降维技术用于减少数据的维度,同时保留尽可能多的有用信息。这对于高维数据的处理和可视化尤为重要。主成分分析(PCA)和t-SNE是两种常见的降维技术。

生成模型

生成模型如生成对抗网络(GAN)和变分自编码器(VAE)近年来在无监督学习中取得了显著的进展。这些模型通过学习数据的分布来生成与原始数据相似的新数据,广泛应用于图像生成、数据增强等领域。

二、算法精讲

2.1 K-means算法精讲

K-means算法是一种经典且广泛应用的聚类算法,旨在将数据集分割成K个簇,使得同一簇内的数据点尽可能相似,而不同簇之间的数据点差异尽可能大。本文将详细介绍K-means算法的原理、数学基础、优化方法,并通过代码示例展示其具体实现。

2.1.1 算法原理

K-means算法通过迭代优化以下两个步骤实现数据的聚类:

  1. 初始化:随机选择K个数据点作为初始的簇中心(centroids)。
  2. 迭代优化
    • 分配步骤(Assignment Step):将每个数据点分配到距离其最近的簇中心所属的簇。
    • 更新步骤(Update Step):重新计算每个簇的中心,即每个簇内所有数据点的平均值,作为新的簇中心。

该过程不断重复,直到簇中心不再发生显著变化或达到预设的迭代次数。

2.1.2 数学基础

file

2.1.3 优化方法

尽管K-means算法简单且高效,但其结果依赖于初始簇中心的选择,容易陷入局部最优解。以下是几种常见的优化方法:

  1. 多次运行K-means:通过多次运行K-means算法,每次随机初始化簇中心,然后选择最优的结果。
  2. K-means++初始化:一种改进的初始化方法,选择初始簇中心时更加注重分布,能够显著提升算法的聚类效果。
  3. Mini-batch K-means:在大数据集上使用小批量数据进行更新,以提高计算效率。

2.1.4 代码示例

以下是使用Python和SciPy库实现K-means算法的示例代码:

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_blobs
from scipy.spatial.distance import cdistdef initialize_centroids(X, k):"""随机初始化k个簇中心"""indices = np.random.choice(X.shape[0], k, replace=False)return X[indices]def assign_clusters(X, centroids):"""分配数据点到最近的簇中心"""distances = cdist(X, centroids, 'euclidean')return np.argmin(distances, axis=1)def update_centroids(X, labels, k):"""更新簇中心为簇内所有数据点的平均值"""new_centroids = np.zeros((k, X.shape[1]))for i in range(k):points = X[labels == i]new_centroids[i] = points.mean(axis=0)return new_centroidsdef kmeans(X, k, max_iters=100, tol=1e-4):"""K-means算法实现"""centroids = initialize_centroids(X, k)for _ in range(max_iters):labels = assign_clusters(X, centroids)new_centroids = update_centroids(X, labels, k)if np.all(np.abs(new_centroids - centroids) < tol):breakcentroids = new_centroidsreturn labels, centroids# 生成样本数据
X, y = make_blobs(n_samples=300, centers=4, random_state=42)# 执行K-means算法
k = 4
labels, centroids = kmeans(X, k)# 可视化聚类结果
plt.scatter(X[:, 0], X[:, 1], c=labels, cmap='viridis', marker='o')
plt.scatter(centroids[:, 0], centroids[:, 1], s=300, c='red', marker='x')
plt.title("K-means Clustering")
plt.xlabel("Feature 1")
plt.ylabel("Feature 2")
plt.show()
代码解析
  1. 初始化簇中心initialize_centroids函数通过随机选择数据点作为初始簇中心。
  2. 分配数据点assign_clusters函数计算每个数据点到所有簇中心的欧几里得距离,并将数据点分配到最近的簇。
  3. 更新簇中心update_centroids函数计算每个簇的新中心,即簇内所有数据点的平均值。
  4. K-means主函数kmeans函数在给定的迭代次数和收敛阈值下执行K-means算法,返回最终的簇标签和簇中心。

2.2 层次聚类算法精讲

层次聚类(Hierarchical Clustering)是一种无监督学习方法,通过建立层次结构将数据集进行聚类。与K-means等平面聚类方法不同,层次聚类创建一个树状结构(或称为树状图),能够展示数据点之间的嵌套关系。本文将详细介绍层次聚类的基本原理、类型、计算方法及其应用,并通过代码示例展示具体实现。

2.2.1 算法原理

层次聚类分为两种主要方法:凝聚(自下而上)和分裂(自上而下)。

凝聚层次聚类(Agglomerative Clustering)
  1. 初始化:将每个数据点视为一个独立的簇。
  2. 迭代合并:在每一步中,找到距离最近的两个簇并将其合并,重复这一过程直到所有数据点被合并到一个簇中或达到预设的簇数。
分裂层次聚类(Divisive Clustering)
  1. 初始化:将所有数据点视为一个单一的簇。
  2. 迭代分裂:在每一步中,选择一个簇并将其拆分为两个子簇,重复这一过程直到每个数据点成为一个独立的簇或达到预设的簇数。

2.2.2 距离度量

层次聚类中,定义簇之间的距离是关键步骤。常用的距离度量方法包括:

  • 最短距离法(Single Linkage):两个簇中最近点之间的距离。
  • 最长距离法(Complete Linkage):两个簇中最远点之间的距离。
  • 平均距离法(Average Linkage):两个簇中所有点对之间的平均距离。
  • 质心法(Centroid Linkage):两个簇的质心之间的距离。

2.2.3 数学基础

层次聚类算法的核心在于不断计算和更新簇间距离,具体步骤如下:

  1. 距离矩阵初始化:计算所有数据点对之间的距离,形成距离矩阵。
  2. 簇合并:根据选定的距离度量方法,找到距离最近的两个簇并合并。
  3. 距离矩阵更新:合并后重新计算新的簇与其他簇之间的距离,更新距离矩阵。

2.2.4 代码示例

以下是使用Python和SciPy库实现凝聚层次聚类的示例代码:

import numpy as np
import matplotlib.pyplot as plt
from scipy.cluster.hierarchy import dendrogram, linkage, fcluster
from sklearn.datasets import make_blobs# 生成样本数据
X, y = make_blobs(n_samples=300, centers=4, random_state=42)# 计算层次聚类的链接矩阵
Z = linkage(X, method='ward')# 绘制树状图
plt.figure(figsize=(10, 7))
dendrogram(Z)
plt.title('Hierarchical Clustering Dendrogram')
plt.xlabel('Sample index')
plt.ylabel('Distance')
plt.show()# 根据距离阈值提取簇
max_d = 50  # 距离阈值
clusters = fcluster(Z, max_d, criterion='distance')# 可视化聚类结果
plt.scatter(X[:, 0], X[:, 1], c=clusters, cmap='viridis', marker='o')
plt.title('Agglomerative Clustering')
plt.xlabel('Feature 1')
plt.ylabel('Feature 2')
plt.show()
代码解析
  1. 生成样本数据:使用make_blobs生成一个包含四个簇的样本数据集。
  2. 计算链接矩阵:使用linkage函数计算层次聚类的链接矩阵,方法选择ward,即最小方差法。
  3. 绘制树状图:使用dendrogram函数绘制层次聚类的树状图,展示聚类的层次结构。
  4. 提取簇:使用fcluster函数根据距离阈值提取簇,max_d为距离阈值。
  5. 可视化聚类结果:根据提取的簇标签,绘制聚类结果的散点图。

2.2.5 层次聚类的优缺点

优点
  • 无需预定义簇数:层次聚类不需要预先指定簇的数量,这对于数据的探索性分析非常有用。
  • 层次结构:层次聚类可以生成树状图,展示数据点之间的层次关系,有助于理解数据的内在结构。
缺点
  • 计算复杂度高:层次聚类的计算复杂度较高,特别是对于大规模数据集,计算和内存开销都非常大。
  • 敏感性强:层次聚类对噪声和离群点非常敏感,这可能导致不准确的聚类结果。

2.2.6 应用实例

层次聚类广泛应用于各种领域,例如:

  • 生物信息学:基因表达数据的聚类分析,构建基因共表达网络。
  • 市场营销:客户细分,根据购买行为和偏好进行市场细分。
  • 文档聚类:基于内容的文档聚类,组织和分类大量文本数据。

2.3 密度聚类算法精讲

密度聚类算法是一类基于数据点密度的无监督学习方法,能够有效处理具有复杂形状和噪声的数据集。最著名的密度聚类算法是DBSCAN(Density-Based Spatial Clustering of Applications with Noise)。本文将详细介绍DBSCAN算法的原理、数学基础、参数选择、优缺点,并通过代码示例展示其具体实现。

2.3.1 算法原理

DBSCAN算法通过以下步骤实现聚类:

  1. 核心点识别:对每个数据点,计算其ε-邻域内的数据点数目。如果数据点的邻域内数据点数目超过最小点数(MinPts)阈值,则该数据点为核心点。
  2. 簇形成:从核心点出发,将其邻域内的所有点(包括其他核心点和边界点)加入同一簇。迭代进行,直到所有核心点都被处理。
  3. 噪声识别:未能被任何簇包含的点被标记为噪声。

2.3.2 数学基础

DBSCAN算法依赖于两个重要参数:

  • ε(Epsilon):定义数据点的邻域半径。
  • MinPts:定义一个点成为核心点所需的最小邻域点数。
核心点、边界点和噪声点
  • 核心点:邻域内数据点数目大于等于MinPts。
  • 边界点:邻域内数据点数目小于MinPts,但在核心点的邻域内。
  • 噪声点:既不是核心点也不是边界点的点。

2.3.3 算法步骤

  1. 初始化:遍历所有数据点。
  2. 扩展簇
    • 如果数据点为核心点,创建新簇,并将其邻域内的所有点添加到簇中。
    • 对于每个邻域内的核心点,继续扩展簇,直到无法再扩展。
  3. 处理完所有点:继续处理其他点,直到所有点都被访问。

2.3.4 参数选择

选择合适的ε和MinPts参数对DBSCAN的效果至关重要:

  • ε的选择:通过k-距离图选择ε值。绘制数据集中每个点到其k-最近邻的距离,寻找“肘部”点对应的距离作为ε值。
  • MinPts的选择:通常选择至少为数据集维度的2倍,即MinPts ≥ 2 * Dim。

2.3.5 优缺点

优点
  • 识别任意形状簇:DBSCAN能够发现任意形状的簇,不受簇形状的限制。
  • 处理噪声:DBSCAN可以有效地识别和处理噪声数据点。
  • 无需预定义簇数:DBSCAN不需要预定义簇的数量,这对于未知簇数的数据集非常有用。
缺点
  • 参数敏感性:DBSCAN对参数ε和MinPts较为敏感,选择不当会影响聚类效果。
  • 高维数据性能差:在高维数据中,DBSCAN的效果可能较差,需要进行降维处理。

2.3.6 代码示例

以下是使用Python和Scikit-learn库实现DBSCAN算法的示例代码:

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_blobs
from sklearn.cluster import DBSCAN
from sklearn.preprocessing import StandardScaler# 生成样本数据
X, y = make_blobs(n_samples=300, centers=4, random_state=42)# 数据标准化处理
X = StandardScaler().fit_transform(X)# DBSCAN聚类
db = DBSCAN(eps=0.3, min_samples=10).fit(X)
labels = db.labels_# 获取核心点和噪声点
core_samples_mask = np.zeros_like(labels, dtype=bool)
core_samples_mask[db.core_sample_indices_] = True
n_clusters_ = len(set(labels)) - (1 if -1 in labels else 0)
n_noise_ = list(labels).count(-1)# 可视化聚类结果
unique_labels = set(labels)
colors = [plt.cm.Spectral(each) for each in np.linspace(0, 1, len(unique_labels))]plt.figure(figsize=(10, 7))
for k, col in zip(unique_labels, colors):if k == -1:# 黑色用于噪声点col = [0, 0, 0, 1]class_member_mask = (labels == k)xy = X[class_member_mask & core_samples_mask]plt.plot(xy[:, 0], xy[:, 1], 'o', markerfacecolor=tuple(col),markeredgecolor='k', markersize=14)xy = X[class_member_mask & ~core_samples_mask]plt.plot(xy[:, 0], xy[:, 1], 'o', markerfacecolor=tuple(col),markeredgecolor='k', markersize=6)plt.title(f'Estimated number of clusters: {n_clusters_}\n'f'Number of noise points: {n_noise_}')
plt.xlabel('Feature 1')
plt.ylabel('Feature 2')
plt.show()
代码解析
  1. 生成样本数据:使用make_blobs生成一个包含四个簇的样本数据集。
  2. 数据标准化:使用StandardScaler对数据进行标准化处理,确保不同特征在相同尺度上。
  3. DBSCAN聚类:使用DBSCAN函数进行聚类,设置参数epsmin_samples
  4. 获取核心点和噪声点:通过core_sample_indices_获取核心点,并统计簇的数量和噪声点的数量。
  5. 可视化聚类结果:根据簇标签绘制不同颜色的散点图,噪声点用黑色表示。

2.3.7 应用实例

DBSCAN广泛应用于各种领域,例如:

  • 地理信息系统:地理空间数据的聚类分析,识别城市区域或地貌特征。
  • 图像处理:图像中的目标检测和分割。
  • 金融分析:异常交易行为检测,识别潜在的欺诈行为。

2.4 主成分分析算法精讲

主成分分析(Principal Component Analysis,PCA)是一种经典的降维技术,通过线性变换将高维数据映射到低维空间,同时尽可能保留原始数据中的主要信息。PCA在数据预处理、特征提取、模式识别和数据可视化等领域具有广泛应用。本文将详细介绍PCA的原理、数学基础、实现步骤,并通过代码示例展示其具体实现。

2.4.1 算法原理

PCA通过寻找数据的主成分,将数据投影到这些主成分构成的子空间中。主成分是数据在变换后的坐标系中的新基向量,这些基向量是按数据方差大小排序的。具体步骤如下:

  1. 数据标准化:将数据中心化,使其均值为零。
  2. 协方差矩阵计算:计算数据的协方差矩阵。
  3. 特征值分解:对协方差矩阵进行特征值分解,得到特征值和特征向量。
  4. 选择主成分:选择前k个特征值对应的特征向量作为主成分。
  5. 数据变换:将原始数据投影到选定的主成分上,得到降维后的数据。

2.4.2 数学基础

file

2.4.3 实现步骤

以下是PCA算法的具体实现步骤:

  1. 数据准备:加载并标准化数据。
  2. 计算协方差矩阵:根据标准化数据计算协方差矩阵。
  3. 特征值分解:对协方差矩阵进行特征值分解。
  4. 选择主成分:选择前k个特征值对应的特征向量。
  5. 数据变换:将原始数据投影到选定的主成分上。

2.4.4 代码示例

以下是使用Python和Scikit-learn库实现PCA的示例代码:

import numpy as np
import matplotlib.pyplot as plt
from sklearn.decomposition import PCA
from sklearn.preprocessing import StandardScaler
from sklearn.datasets import load_iris# 加载示例数据集
data = load_iris()
X = data.data
y = data.target# 数据标准化
scaler = StandardScaler()
X_std = scaler.fit_transform(X)# PCA降维,选择前2个主成分
pca = PCA(n_components=2)
X_pca = pca.fit_transform(X_std)# 可视化降维后的数据
plt.figure(figsize=(10, 7))
plt.scatter(X_pca[:, 0], X_pca[:, 1], c=y, cmap='viridis', edgecolor='k', s=150)
plt.title('PCA of Iris Dataset')
plt.xlabel('Principal Component 1')
plt.ylabel('Principal Component 2')
plt.colorbar()
plt.show()
代码解析
  1. 加载数据:使用load_iris函数加载鸢尾花数据集。
  2. 数据标准化:使用StandardScaler对数据进行标准化处理,确保每个特征具有零均值和单位方差。
  3. PCA降维:使用PCA类对标准化后的数据进行降维,选择前两个主成分。
  4. 可视化:绘制降维后的数据散点图,展示不同类别的数据点在主成分空间的分布。

2.4.5 优缺点

优点
  • 降维效果显著:PCA能够有效减少数据的维度,保留主要信息,便于后续分析和处理。
  • 计算高效:PCA的计算复杂度较低,适用于大规模数据集。
  • 无参数要求:PCA不需要设置超参数,使用方便。
缺点
  • 线性假设:PCA假设数据与主成分之间的关系是线性的,对于非线性数据表现不佳。
  • 解释性差:主成分是线性组合,难以直接解释每个主成分的具体含义。
  • 对噪声敏感:PCA对噪声数据较为敏感,可能受到噪声的干扰。

2.4.6 应用实例

PCA广泛应用于各种领域,例如:

  • 图像处理:图像压缩与特征提取。
  • 金融分析:股票收益率数据的降维与风险管理。
  • 生物信息学:基因表达数据的降维与聚类分析。

2.5 t-SNE算法精讲

t-SNE(t-Distributed Stochastic Neighbor Embedding)是一种非线性降维技术,尤其擅长在低维空间中保持高维数据的局部结构。t-SNE广泛应用于数据可视化,特别是在处理高维数据时,能够揭示数据的内在结构和模式。本文将详细介绍t-SNE的原理、数学基础、实现步骤,并通过代码示例展示其具体实现。

2.5.1 算法原理

t-SNE通过构建高维数据点之间的相似度,然后将这些相似度映射到低维空间中,使得相似的数据点在低维空间中尽可能靠近。其核心思想包括以下几个步骤:

  1. 高维空间中的相似度计算:在高维空间中,t-SNE使用高斯分布计算数据点之间的相似度。
  2. 低维空间中的相似度计算:在低维空间中,t-SNE使用t分布计算数据点之间的相似度。
  3. 相似度匹配:通过最小化两种空间中相似度分布之间的Kullback-Leibler散度(KL散度),将高维数据映射到低维空间。

2.5.2 数学基础

file

2.5.3 实现步骤

  1. 数据准备:加载并标准化数据。
  2. 相似度计算:在高维空间中计算数据点之间的相似度。
  3. 初始嵌入:在低维空间中初始化数据点的位置。
  4. 优化:通过梯度下降法最小化KL散度,更新低维嵌入。
  5. 可视化:展示降维后的数据。

2.5.4 代码示例

以下是使用Python和Scikit-learn库实现t-SNE的示例代码:

import numpy as np
import matplotlib.pyplot as plt
from sklearn.manifold import TSNE
from sklearn.preprocessing import StandardScaler
from sklearn.datasets import load_digits# 加载示例数据集
data = load_digits()
X = data.data
y = data.target# 数据标准化
scaler = StandardScaler()
X_std = scaler.fit_transform(X)# t-SNE降维
tsne = TSNE(n_components=2, perplexity=30, n_iter=300)
X_tsne = tsne.fit_transform(X_std)# 可视化降维后的数据
plt.figure(figsize=(10, 7))
scatter = plt.scatter(X_tsne[:, 0], X_tsne[:, 1], c=y, cmap='viridis', edgecolor='k', s=100)
plt.title('t-SNE of Digits Dataset')
plt.xlabel('t-SNE Component 1')
plt.ylabel('t-SNE Component 2')
plt.colorbar(scatter)
plt.show()
代码解析
  1. 加载数据:使用load_digits函数加载手写数字数据集。
  2. 数据标准化:使用StandardScaler对数据进行标准化处理,确保每个特征具有零均值和单位方差。
  3. t-SNE降维:使用t-SNE类对标准化后的数据进行降维,设置参数n_components为2(即二维空间),perplexity为30,n_iter为300。
  4. 可视化:绘制降维后的数据散点图,展示不同类别的数据点在t-SNE空间的分布。

2.5.5 优缺点

优点
  • 保持局部结构:t-SNE能够有效保持高维数据的局部结构,使得相似的数据点在低维空间中靠近。
  • 适合高维数据:t-SNE在处理高维数据时表现出色,能够揭示数据的内在模式和结构。
缺点
  • 计算复杂度高:t-SNE的计算复杂度较高,特别是在大规模数据集上,计算时间较长。
  • 参数敏感性:t-SNE对参数(如perplexity)较为敏感,需要仔细调整以获得最佳效果。
  • 难以解释:t-SNE的结果难以解释,不适用于所有降维任务。

2.5.6 应用实例

t-SNE广泛应用于各种领域,例如:

  • 图像处理:高维图像特征的可视化分析。
  • 自然语言处理:词向量和句向量的可视化。
  • 生物信息学:基因表达数据的可视化。

2.6 自编码器算法精讲

自编码器(Autoencoder)是一类用于无监督学习的神经网络,主要用于降维、特征提取和数据生成。自编码器通过将输入数据编码为低维表示,然后再解码为原始数据,来学习数据的有效表示。本文将详细介绍自编码器的原理、数学基础、常见变种及其实现步骤,并通过代码示例展示其具体实现。

2.6.1 算法原理

file

2.6.2 数学基础

file

2.6.3 常见变种

去噪自编码器(Denoising Autoencoder, DAE)

在输入数据上添加噪声,通过去噪训练自编码器,使其更具鲁棒性。

稀疏自编码器(Sparse Autoencoder, SAE)

在编码器中添加稀疏性约束,鼓励模型学习稀疏表示。

变分自编码器(Variational Autoencoder, VAE)

基于概率模型的自编码器,通过学习数据的潜在分布生成新数据。

2.6.4 实现步骤

  1. 数据准备:加载并标准化数据。
  2. 模型构建:定义编码器和解码器的结构。
  3. 模型训练:使用反向传播算法最小化重建误差,训练自编码器。
  4. 数据重建:使用训练好的自编码器对数据进行重建和降维。

2.6.5 代码示例

以下是使用Python和PyTorch实现一个简单自编码器的示例代码:

import torch
import torch.nn as nn
import torch.optim as optim
import torchvision
import torchvision.transforms as transforms
from torch.utils.data import DataLoader# 定义自编码器模型
class Autoencoder(nn.Module):def __init__(self):super(Autoencoder, self).__init__()self.encoder = nn.Sequential(nn.Linear(28 * 28, 128),nn.ReLU(True),nn.Linear(128, 64),nn.ReLU(True),nn.Linear(64, 12),nn.ReLU(True),nn.Linear(12, 3))self.decoder = nn.Sequential(nn.Linear(3, 12),nn.ReLU(True),nn.Linear(12, 64),nn.ReLU(True),nn.Linear(64, 128),nn.ReLU(True),nn.Linear(128, 28 * 28),nn.Tanh())def forward(self, x):x = self.encoder(x)x = self.decoder(x)return x# 数据加载和预处理
transform = transforms.Compose([transforms.ToTensor(), transforms.Normalize((0.5,), (0.5,))])
train_dataset = torchvision.datasets.MNIST(root='./data', train=True, transform=transform, download=True)
train_loader = DataLoader(dataset=train_dataset, batch_size=128, shuffle=True)# 初始化模型、损失函数和优化器
model = Autoencoder()
criterion = nn.MSELoss()
optimizer = optim.Adam(model.parameters(), lr=1e-3)# 模型训练
num_epochs = 20
for epoch in range(num_epochs):for data in train_loader:img, _ = dataimg = img.view(img.size(0), -1)output = model(img)loss = criterion(output, img)optimizer.zero_grad()loss.backward()optimizer.step()print(f'Epoch [{epoch+1}/{num_epochs}], Loss: {loss.item():.4f}')# 可视化重建结果
import matplotlib.pyplot as plt# 获取一个批次的测试数据
test_dataset = torchvision.datasets.MNIST(root='./data', train=False, transform=transform, download=True)
test_loader = DataLoader(dataset=test_dataset, batch_size=10, shuffle=True)
dataiter = iter(test_loader)
images, _ = dataiter.next()
images = images.view(images.size(0), -1)# 重建图像
outputs = model(images)# 展示原始图像和重建图像
fig, axes = plt.subplots(2, 10, figsize=(10, 2))
for i in range(10):axes[0, i].imshow(images[i].view(28, 28).detach().numpy(), cmap='gray')axes[1, i].imshow(outputs[i].view(28, 28).detach().numpy(), cmap='gray')
plt.show()
代码解析
  1. 定义模型:使用PyTorch定义一个简单的自编码器模型,包括编码器和解码器。编码器将输入数据降维,解码器将低维表示还原为原始数据。
  2. 数据加载和预处理:使用torchvision加载MNIST数据集,并对数据进行标准化处理。
  3. 初始化模型、损失函数和优化器:使用均方误差(MSE)作为损失函数,使用Adam优化器进行模型训练。
  4. 模型训练:通过反向传播算法最小化重建误差,迭代训练自编码器。
  5. 可视化重建结果:对测试数据进行重建,并展示原始图像和重建图像的对比。

2.6.6 优缺点

优点
  • 特征提取:自编码器能够自动学习数据的低维表示,有助于特征提取和数据降维。
  • 数据生成:通过变种自编码器(如VAE),可以生成新数据,具有广泛应用。
  • 无监督学习:无需标签数据,自编码器能够在无监督学习任务中发挥重要作用。
缺点
  • 过拟合风险:自编码器可能在训练数据上过拟合,导致泛化能力差。
  • 高计算成本:训练深度自编码器需要大量计算资源,特别是在大规模数据集上。
  • 对噪声敏感:自编码器对噪声数据较为敏感,可能需要去噪自编码器(DAE)来提高鲁棒性。

2.6.7 应用实例

自编码器在多个领域具有广泛应用,例如:

  • 图像处理:图像降噪、图像压缩与重建。
  • 自然语言处理:文本表示学习、语言模型预训练。
  • 生物信息学:基因表达数据降维与聚类分析。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/30201.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

axios二次封装

导读&#xff1a;axios用于网络请求、在开发时常常进行二次封装便于前端请求接口时&#xff0c;在网络请求和响应拦截器中做统一处理 1、创建axios实例 配置接口基地址baseURL&#xff0c;接口超时时间timeout 等等 VITE_BASE_URL 在.env文件中配置, 可查看上一篇.env文件详解…

药物+蚊子=疟疾疫苗?

药物蚊子疟疾疫苗&#xff1f; 编译 李升伟 疟原虫的天然暴露和抗生素的组合使用是否可以支持病人的天然免疫力。 顶复合小体靶向药 几十年来&#xff0c;科学家们一直在苦苦寻求一种防御疟疾的疫苗&#xff0c;但是这种疾病的致病性寄生虫——疟原虫――却是一种难以对付的…

外链应该怎么做才有效?

做有效的外链&#xff0c;关键在于策略和执行&#xff0c;高质量的独立站外链就是一个不错的选择&#xff0c;确保是dofollow&#xff0c;每一条都被谷歌收录&#xff0c;并保证长期留存&#xff0c;至少一年以上&#xff0c;这种外链就是能发挥最大效果的外链&#xff0c;名为…

pytest框架中的pytest.ini配置文件

pytest.ini是pytest的主配置文件&#xff0c;主要用于全局配置pytest的行为&#xff0c;如指定测试收集的规则、插件配置、路径忽略等。它允许我们定制pytest的运行方式&#xff0c;而不必在代码中硬编码这些配置。 目录 1、基本结构 2、常见配置项及使用方法 1.addopts 2…

2024年已过半,靠独立站赚钱行得通吗?

中国跨境出口电商行业近年来展现了显著的增长势头&#xff0c;在2017至2021年间&#xff0c;行业规模持续保持20%以上的同比增速。特别是在2021年&#xff0c;受疫情加速全球消费线上化的影响&#xff0c;行业规模已经突破6万亿元人民币。到了2022年&#xff0c;尽管面临局部封…

云原生重大事件保障预案与执行结果

一、背景 随着云计算技术的快速发展&#xff0c;云原生架构已成为企业数字化转型的关键驱动力。然而&#xff0c;云原生环境的高度动态性和复杂性使得其面临着一系列挑战&#xff0c;如服务稳定性、安全性以及性能优化等。为了确保云原生环境的稳定运行&#xff0c;并应对可能…

全新防关联技术出炉:亚马逊测评环境优化,下单成功率大提升

在竞争激烈的测评行业中&#xff0c;构建一个稳定且高效的环境系统成为了制胜的关键。然而&#xff0c;市场上现有的环境方案如虚拟机、模拟机、GCS、云手机、VPS等不仅成本高昂&#xff0c;而且面临着在风控严格的平台上如亚马逊难以逃脱检测的挑战&#xff0c;进而影响了测评…

Memory use report提示信息

Memory use report: Heap dump has been created at C:\Users\Administrator\AppData\Local\JetBrains\IntelliJIdea2021.3\tmp\hprof-temp\heapDump-idea-1718785956302.hprof. It will be analyzed next time you start IntelliJ IDEA.Memory use report提示信息 Memory use…

【两数之和】

两数之和 一、题目二、暴力解法三、哈希表四、map字典1.基本方法.set()添加键值对.get()通过键获取值.has()判断map是否有这个键 2.map和set的联系和区别共同点共同点MapSet 一、题目 二、暴力解法 三、哈希表 解题思路&#xff1a;将nums的元素依次以键值对的方式存储在map字典…

在MySQL中添加索引

在添加之前可以做下备份 mysqldump -u 用户名 -p 数据库名 表名 > 备份文件.sql在 MySQL 中&#xff0c;虽然可以同时执行多个 ALTER TABLE 语句&#xff0c;但需要注意的是&#xff0c;MySQL 对 ALTER TABLE 操作的并行执行有一些限制。具体来说&#xff0c;MySQL 在执行 …

【Linux】如何创建yum 组(yum groups)

如何创建yum 组(yum groups) 在 yum 中创建组信息需要手动编辑并创建一个组文件&#xff0c;然后使用 createrepo 工具生成组信息。以下是一个详细的步骤指南&#xff1a; 1. 创建组信息文件 首先&#xff0c;创建一个 XML 文件来定义组信息。例如&#xff0c;创建一个名为 …

HTML语言笔记

结构 C/S结构 ClientSever 客户端服务器端 需要在电脑上安装的重终端&#xff0c;或一个特定的客户端才能运行。 B/S结构 BrowserServer 浏览器服务器 JAVA主要后端语言&#xff0c;用于开发服务器端程序。 网页开发 学习内容&#xff1a; 语言&#xff1a; html cs…

java基础·小白入门(二)

目录 Java数组、字符串、正则表达式数组基本知识二维数组 字符串初始化基本用法 正则表达式相关知识点Java语言的内存分配Java的增强for循环 类和对象基本概念定义与创建应用 Java数组、字符串、正则表达式 数组 基本知识 Java中&#xff0c;数组元素可以为简单数据类型&…

MacOS之解决:开盖启动问题(七十四)

简介&#xff1a; CSDN博客专家&#xff0c;专注Android/Linux系统&#xff0c;分享多mic语音方案、音视频、编解码等技术&#xff0c;与大家一起成长&#xff01; 优质专栏&#xff1a;Audio工程师进阶系列【原创干货持续更新中……】&#x1f680; 优质专栏&#xff1a;多媒…

mysql中返回日期格式带有T、Java解决返回日期格式带 ‘T‘ 问题、MySQL查询日期为什么带T、java.util.Date()类型为什么有T

文章目录 一、场景描述&#xff1a;Mysql返回日期格式带有T二、解决方法2.1、方法一&#xff1a;通过注解格式化2.2、方法二&#xff1a;通过全局配置2.3、方法三&#xff1a;查询时手动转换时间格式 三、mysql 数据库时间类型数据为什么有T3.1、什么是ISO 8601格式 四、java中…

储备教师和正式教师的区别是什么?

当谈论教育行业的未来&#xff0c;是否曾想过&#xff0c;那些被称为"储备教师"的群体&#xff0c;与我们熟知的"正式教师"之间&#xff0c;有何本质的区别&#xff1f; 储备教师&#xff0c;顾名思义&#xff0c;是学校为了应对未来可能的教学需求而提前招…

Redis 集群 - 数据分片算法

前言 广义的集群&#xff1a;只要是多个机器构成了一个分布式系统&#xff0c;都可以被称为集群。 狭义的集群&#xff1a;redis 的集群模式&#xff0c;这个集群模式下&#xff0c;主要是解决存储空间不足的问题。 Redis 集群 redis 采用主从结构&#xff0c;可以提高系统的可…

cs144 LAB1 基于滑动窗口的碎片字节流重组器

一.StreamReassembler.capacity 的意义 StreamReassembler._capacity 的含义&#xff1a; ByteStream 的空间上限是 capacityStreamReassembler 用于暂存未重组字符串片段的缓冲区空间 StreamReassembler.buffer 上限也是 capacity蓝色部分代表了已经被上层应用读取的已重组数…

神火股份电子商务平台(数字化招采平台),构建企业数字活力

为推进数字化转型升级进程&#xff0c;神火股份携手信源信息建设电子商务平台&#xff0c;近日&#xff0c;该平台已实现验收&#xff0c;为企业高质量发展注入“数字活力”。 河南神火煤电股份有限公司&#xff08;简称“神火股份”&#xff09;是以煤炭、发电、电解铝生产及…

2024年CCSK认证培训招生简章公开

CCSK认证培训背景 本课程旨在确保与云计算相关的从业人员对云安全威胁和云安全最佳 实践有一个全面的了解和广泛的认知。包含了广泛的云安全知识&#xff0c;涵 盖了体系结构、合规治理、加密和虚拟化等主题。自2010年推出以 来&#xff0c;成千上万的IT和安全专业人员通过CCSK…