上一篇
概率神经网络训练过程是怎样的？
概率神经网络（Probabilistic Neural Network, PNN）是一种基于贝叶斯决策理论和核密度估计的监督学习分类器，与传统的反向传播神经网络不同，PNN 不需要迭代训练权重，其“训练”过程实质上是记忆训练样本并构建概率密度函数的过程，以下是 PNN 训练与推理过程的详细解析。
网络架构与数据输入
PNN 通常由四层神经元组成：输入层、模式层（Pattern Layer）、求和层（Summation Layer）和输出层（Output Layer）。
- 输入层：接收特征向量 $X$，假设输入特征维度为 $d$，则输入层有 $d$ 个节点。
- 模式层：这是 PNN 的核心，模式层的神经元数量等于训练集中所有样本的总数 $N$，每个模式神经元对应一个特定的训练样本。
- 求和层：包含与分类类别数量 $C$ 相等的神经元，每个神经元负责汇总属于该类别的所有模式神经元的输出。
- 输出层：根据贝叶斯最大后验概率准则，选择概率最大的类别作为最终分类结果。
“训练”过程：参数设定与记忆
PNN 的训练过程极其简单，主要涉及两个步骤：确定平滑因子（Spread Parameter）和存储训练数据。
1 平滑因子（Spread, $sigma$）的选择
平滑因子 $sigma$ 是 PNN 中唯一的超参数，它决定了高斯核函数的宽度。
- 作用：$sigma$ 控制了对邻近样本的影响范围。$sigma$ 越大，概率密度估计越平滑，但可能导致过平滑（欠拟合）；$sigma$ 越小，估计越尖锐，对噪声敏感，可能导致过拟合。
- 确定方法：通常通过交叉验证（Cross-Validation）在训练集上测试不同的 $sigma$ 值，选择使分类错误率最低的 $sigma$。
2 权重初始化
在 PNN 中，模式层到求和层的连接权重并非通过梯度下降学习得到，而是直接初始化为 1，这意味着每个训练样本对所属类别的贡献是均等的，除非通过核函数进行加权。
概率密度估计机制
PNN 的核心在于使用高斯核函数来估计每个类别的条件概率密度函数 $P(X|C_i)$。
对于一个新的输入样本 $X$，模式层中的第 $j$ 个神经元（对应训练样本 $X_j$）计算输入向量与训练样本之间的欧氏距离，并通过高斯核函数进行转换。
高斯核函数公式如下：
$$ G(X, X_j) = expleft( -frac{(X X_j)^T (X X_j)}{2sigma^2} right) $$
- $X$ 是输入向量。
- $X_j$ 是第 $j$ 个训练样本向量。
- $sigma$ 是平滑因子。
求和层聚合与分类决策
模式层的输出被传递到求和层,求和层的每个神经元 $k$（对应类别 $C_k$）计算属于该类别的所有模式神经元输出的总和。
假设类别 $C_k$ 有 $N_k$ 个训练样本，则第 $k$ 个求和神经元的输出 $S_k$ 为：
$$ Sk = sum{j in C_k} G(X, X_j) $$
这个总和 $S_k$ 近似于类别 $C_k$ 的条件概率密度 $P(X|C_k)$ 的估计值（未归一化）。
输出层执行贝叶斯决策规则,假设各类别的先验概率 $P(C_k)$ 已知或假设相等，则选择后验概率最大的类别：
$$ text{Class}(X) = argmax_{k} P(Ck|X) = argmax{k} frac{P(X|C_k)P(C_k)}{P(X)} $$
由于 $P(X)$ 对所有类别相同，实际计算中只需比较 $S_k cdot P(C_k)$，若先验概率相等，则直接比较 $S_k$ 的大小。
训练与推理流程归纳表
为了更清晰地理解 PNN 的处理流程，以下表格归纳了从输入到输出的关键步骤：
| 步骤 | 层级 | 操作描述 | 数学表达/关键点 |
|---|---|---|---|
| 输入 | 输入层 | 接收待分类的特征向量 $X$ | 维度 $d times 1$ |
| 距离计算 | 模式层 | 计算 $X$ 与每个训练样本 $X_j$ 的欧氏距离 | $D_j = |X X_j|^2$ |
| 核变换 | 模式层 | 应用高斯核函数将距离转换为相似度得分 | $G_j = exp(-D_j / 2sigma^2)$ |
| 聚合 | 求和层 | 对同一类别的所有模式神经元输出求和 | $Sk = sum{j in C_k} G_j$ |
| 决策 | 输出层 | 比较各类别的聚合得分，选择最大值 | $text{Output} = argmax_k (S_k cdot P(C_k))$ |
优缺点分析
- 优点：
- 收敛速度快：训练时间几乎为零，只需存储数据。
- 全局最优：基于非参数统计方法，不存在局部极小值问题。
- 容错性强：对噪声和缺失数据具有一定的鲁棒性。
- 缺点：
- 存储需求大：模式层神经元数量等于训练样本总数，当数据量巨大时，内存消耗极高。
- 计算开销随数据量线性增长：每次推理都需要计算输入与所有训练样本的距离。
相关问题与解答
问题 1：PNN 与传统反向传播神经网络（BPNN）在“训练”概念上有何本质区别？
解答：
PNN 与传统 BPNN 在训练机制上存在根本差异，BPNN 是一种基于梯度下降的迭代优化算法，需要通过前向传播计算误差，然后反向传播调整权重，经过多次迭代才能收敛到最优解，训练过程耗时且可能陷入局部极小值，而 PNN 是一种非参数化的统计学习方法，其“训练”过程并非调整权重，而是直接将所有训练样本作为模式层的神经元进行存储，PNN 不需要迭代优化，一旦数据输入完毕，网络结构即确定，因此训练时间几乎可以忽略不计，但代价是推理时需要计算与所有训练样本的距离。
问题 2：在 PNN 中，平滑因子 $sigma$ 的大小如何影响分类性能？$sigma$ 设置得过大或过小，分别会出现什么问题？
解答：
平滑因子 $sigma$ 控制着高斯核函数的宽度，直接影响概率密度估计的平滑程度。
- $sigma$ 过小：高斯核函数变得非常尖锐，只有与输入样本极其接近的训练样本才会产生显著的输出，这会导致概率密度估计过于敏感，容易受到训练数据中噪声的影响，导致模型过拟合，泛化能力差。
- $sigma$ 过大：高斯核函数变得非常平坦，所有训练样本对输出都有近乎均等的贡献，这会导致概率密度估计过于平滑，不同类别之间的边界变得模糊，模型无法捕捉数据的局部特征，导致欠拟合，分类精度下降。
选择合适的 $sigma$ 是 PNN 应用中的关键，通常需要通过交叉验证在验证集上寻找最佳平衡点。
