上一篇
非监督深度神经网络典型结构有哪些？，应用场景有哪些？
无监督深度学习旨在从无标签数据中学习内在结构和特征表示，是深度学习的核心方向之一，其典型神经网络结构各具特色，适用于不同任务，以下介绍几种主要结构，包括原理、关键机制及典型应用。
自编码器（Autoencoder, AE）
自编码器是最基础的无监督结构,通过重构输入来学习压缩表示。
- 结构组成：编码器将输入映射到低维隐空间,解码器从隐表示重建原始数据。
- 训练目标：最小化重构误差,如均方误差或交叉熵。
- 关键变体：
- 稀疏自编码器：在隐层加入稀疏性约束,激活神经元数量少。
- 去噪自编码器：输入被加入噪声,迫使模型学习鲁棒特征。
- 变分自编码器（VAE）：引入概率生成框架,见下节。
- 典型应用：降维、特征提取、异常检测（重构误差大视为异常）。
变分自编码器（Variational Autoencoder, VAE）
VAE 是生成式自编码器，学习数据的潜在概率分布,从而生成新样本。
- 机制：编码器输出隐变量的均值和方差，通过重参数化技巧采样,解码器生成数据。
- 损失函数：重构损失 + KL 散度（使隐分布接近标准正态分布）。
- 特点：生成能力强,但生成图像往往偏模糊。
- 典型应用：图像生成、表示学习、半监督分类。
生成对抗网络（Generative Adversarial Network, GAN）
GAN 通过博弈学习生成数据,包含生成器和判别器两个网络。
- 结构：
- 生成器：从随机噪声合成逼真数据。
- 判别器：区分真实数据与生成数据。
- 训练目标：生成器尽量欺骗判别器，判别器尽量准确识别,形成极小极大博弈。
- 常见变体：DCGAN（卷积架构）、WGAN（Wasserstein距离）、StyleGAN（风格控制）。
- 挑战：训练不稳定、模式崩溃、评估困难。
- 典型应用：图像生成、超分辨率、数据增强、图像编辑。
深度信念网络（Deep Belief Network, DBN）
DBN 由多层受限玻尔兹曼机（RBM）堆叠而成,采用逐层无监督预训练。
- 结构：底层为可见层，上层为隐藏层，每层RBM内部无连接,层间双向连接。
- 训练过程：贪婪逐层训练，每层RBM通过对比散度算法学习,之后可微调用于分类或生成。
- 特点：早期深度学习的重要模型,但训练效率低于现代端到端方法。
- 典型应用：特征提取、分类、生成手写数字等。
深度玻尔兹曼机（Deep Boltzmann Machine, DBM）
DBM 与 DBN 类似，但所有层间均为双向连接,且每层内部无连接。
- 结构差异：DBM 所有层构成一个无向图模型，而 DBN 顶层为无向、下部为有向。
- 训练：使用逐层预训练和平均场近似进行推理,计算复杂度较高。
- 特点：能学习更丰富的表示,但训练困难和扩展性较差。
- 典型应用：特征学习、协同过滤、多模态学习。
自组织映射（Self-Organizing Map, SOM）
SOM 是一种竞争型神经网络,通过无监督学习生成低维拓扑映射。
- 结构：输入层与二维网格竞争的神经元层全连接,神经元间有侧向连接。
- 学习规则：竞争获胜的神经元及其邻居更新权重,使相似输入映射到相邻区域。
- 特点：保持拓扑结构,适合可视化高维数据。
- 典型应用：聚类、数据可视化、降维。
深度聚类网络（如Deep Embedded Clustering）
将深度特征学习与聚类目标联合优化,提升聚类效果。
- 框架：使用预训练自编码器提取特征,通过KL散度或自训练方式优化聚类分配。
- 代表模型：DEC（Deep Embedded Clustering）、IDEC（Improving DEC）等。
- 典型应用：图像聚类、文本聚类、异常检测。
结构对比表
| 结构 | 核心机制 | 训练方式 | 主要用途 | 生成能力 |
|---|---|---|---|---|
| 自编码器（AE） | 重构输入 | 直接最小化重构误差 | 特征提取、降维 | 有限（重构） |
| 变分自编码器（VAE） | 概率生成+重构 | 最大化ELBO | 生成新数据 | 强（连续隐空间） |
| 生成对抗网络（GAN） | 对抗博弈 | 极小极大优化 | 高质量生成 | 强（隐空间插值） |
| 深度信念网络（DBN） | 堆叠RBM | 逐层贪婪训练 | 特征学习、分类 | 较弱（生成样本粗糙） |
| 深度玻尔兹曼机（DBM） | 无向图模型 | 逐层预训练+平均场 | 表示学习 | 中等 |
| 自组织映射（SOM） | 竞争学习 | 无监督邻域更新 | 聚类、可视化 | 无 |
| 深度聚类网络 | 特征+聚类联合优化 | 自训练或迭代 | 聚类 | 无 |
相关问题与解答
问题1：自编码器（AE）和变分自编码器（VAE）的核心区别是什么？
解答：两者都是编码器-解码器结构，但设计目标不同，AE是确定性模型，学习从输入到隐编码的纯映射，重点在于降维或特征提取，其隐空间缺乏规则性，不能直接生成新数据，VAE则是概率生成模型，约束隐变量服从先验分布（如标准正态分布），通过重参数化技巧训练，使隐空间连续且平滑，因此可以从隐空间采样生成新样本，简言之，AE侧重重构,VAE侧重生成。
问题2：生成对抗网络（GAN）在训练中常遇到哪些问题？如何缓解？
解答：常见问题包括：
- 训练不稳定：生成器和判别器难以平衡，导致震荡或梯度消失，缓解方法：使用WGAN或WGAN-GP（Wasserstein距离与梯度惩罚），改进损失函数；使用标签平滑、梯度惩罚等技巧。
- 模式崩溃：生成器只生成某一类样本，缺乏多样性，缓解方法：采用小批量判别（如Mini-Batch Discrimination）、训练多个生成器组合、使用谱归一化、在损失中加入多样性惩罚项。
- 梯度消失：判别器太强时生成器梯度消失，缓解方法：平衡训练步数，采用LeakyReLU激活,使用梯度惩罚或特征匹配损失。
