上一篇
非监督深度学习如何入门，需要哪些数学基础知识？
非监督深度学习
非监督深度学习是指在没有人工标注标签的情况下,利用深度神经网络从数据中学习内在结构、模式或分布的方法，其核心目标包括特征提取、数据降维、密度估计、聚类以及生成新样本，与监督学习依赖输入‑输出对不同，非监督学习仅利用输入数据本身，在众多现实场景（如无标签数据、异常检测、数据可视化）中具有重要价值。
常见方法
| 方法 | 核心思想 | 典型应用 |
|---|---|---|
| 自编码器（Autoencoder） | 通过编码器将输入压缩为低维表示，再通过解码器重建输入，学习紧凑且保留关键信息的特征。 | 降维、去噪、特征学习 |
| 变分自编码器（VAE） | 在自编码器基础上引入概率分布，学习隐空间的概率模型，使生成的数据更平滑且可控制。 | 图像生成、数据插补 |
| 生成对抗网络（GAN） | 生成器与判别器对抗训练，生成器试图杜撰数据，判别器辨别真伪，最终生成器能产生逼真的样本。 | 图像生成、超分辨率、风格迁移 |
| 深度聚类（Deep Clustering） | 结合深度神经网络与聚类损失（如K‑means、谱聚类），同时学习特征表示与聚类分配。 | 无监督分类、图像分割 |
| 自监督学习（Self-Supervised Learning） | 设计辅助任务（如旋转预测、掩码还原）从数据自身生成标签，从而学习通用表示。 | 预训练、视觉/语言表示学习 |
关键技术与变体
- 稀疏自编码器：在隐层加入稀疏性约束，使模型仅激活少量神经元，常用于特征选择。
- 去噪自编码器：输入中加入噪声，训练模型重建原始干净数据，提升鲁棒性。
- 卷积自编码器：使用卷积层处理图像数据，保留空间结构。
- 深度信念网络（DBN）：由多个受限玻尔兹曼机（RBM）堆叠而成，通过逐层贪婪预训练学习层次化特征。
- 流形学习：假设高维数据位于低维流形上，利用自编码器或GAN学习流形结构。
应用场景
- 特征提取与降维：将高维数据（如图像、文本）映射到低维空间，用于后续分类或可视化。
- 异常检测：训练自编码器仅重建正常样本，异常样本的重建误差较大，从而识别出异常。
- 生成模型：VAE和GAN可以生成全新的数据（如人脸、艺术品），用于数据增强或创意设计。
- 无监督预训练：在标注数据稀少的任务中，先通过自监督或非监督方式学习通用表示，再微调少量标签。
- 聚类分析：深度聚类方法在无标签数据中自动发现类别，常用于客户分群、基因表达分析。
优点与挑战
优点：
- 无需人工标注,适用于海量未标注数据。
- 能学习深层非线性特征,表达能力优于传统非监督方法。
- 生成模型可探索数据分布,产生新样本。
挑战：
- 评估困难：没有标签，难以量化模型性能，通常需通过下游任务或视觉检查。
- 训练不稳定：GAN等模型易出现模式崩溃或训练不收敛。
- 可解释性弱：学到的高维隐表示往往难以直观理解。
相关问题与解答
问题1：自编码器与变分自编码器（VAE）的主要区别是什么？
解答：
自编码器是一个确定性模型，它将输入映射到固定的隐向量，并力求重建原始数据，其隐空间往往不连续，导致从随机隐向量生成的数据质量较差。
变分自编码器则引入概率推断，将隐向量视为服从某个分布（如高斯分布）的随机变量，并强制隐空间接近标准正态分布，这使得隐空间具有连续性，能够通过采样生成新样本，且生成的数据更平滑多变，简言之，自编码器专注于压缩与重建，而VAE专注于生成与概率建模。
问题2：为什么GAN在非监督学习中容易发生模式崩溃？如何缓解？
解答：
模式崩溃是指生成器只学会生成少数几种样式的样本，而无法覆盖整个数据分布，原因包括：生成器被判别器过度压制，导致其只探索容易骗过判别器的区域；或者优化目标不稳定，生成器难以同时学习多种模式。
缓解方法包括：
- 使用Wasserstein GAN（WGAN） 及其改进，用Wasserstein距离替代JS散度，提供更稳定的梯度。
- 引入梯度惩罚或谱归一化，约束判别器的能力。
- 采用Mini-batch Discrimination，让判别器比较批次内的样本，迫使生成器提高多样性。
- 使用多个生成器或条件生成，为不同的模式分配独立的条件变量。
