基于半监督广义学习系统的高光谱图像分类

发表于 分类于 阅读次数： 本文字数： 2.3k 阅读时长 ≈ 8 分钟

原文：《Hyperspectral Imagery Classification Based on Semi-Supervised Broad Learning System》

主要思路

深度学习

  1. 方法需要复杂的结构调整和大量的网络训练计算。
  2. 存在标记样本数量有限的问题。

针对这些问题，Chen和Liu[20]提出了一种新的广义学习系统(BLS)，提供一种可选的学习方法。该方法基于随机向量函数链接神经网络(RVFLNN)。首先，将原始数据通过随机权重映射为映射特征(MF)，并存储在特征节点中。接下来，同样通过随机权重映射MF，得到增强节点(EN)进行广泛展开。最后，用岭回归逼近法求解L2范数的归一化优化，得到最终网络权值。与DL相比，BLS具有以下优势:(1)BLS仅由三个部分组成，而深度学习需要由多个非线性单元叠加的深层结构。因此，BLS的结构更简单。(2) BLS采用岭回归法求解网络权值，DL采用梯度下降法求解。当权重没有很好地初始化时，DL需要更多的迭代。因此，BLS的训练过程更简单、更快。(3) BLS中从输入数据到MF和从MF到EN的连接权值随机生成，可训练参数仅包括从MF和EN到输出节点的连接权值。因此，与DL相比，BLS一般需要较少的网络参数训练，因此标记训练样本较少。

基于图的SSL方法

  1. 算法性能受所构造图的影响较大。
  2. 相邻参数具有较高的灵敏度。

考虑数据类结构，Shao, et al.[28]提出了一个类概率(CP)结构，它可以通过类概率矩阵来表示每个样本与每个类之间的关系。本文采用此方法。

本文方法

提出了一种基于半监督BLS(半监督BLS)的HSI分类方法。

  1. 这是第一次尝试将BLS应用于HSI分类任务。所提出的SBLS可以获得更高的HSI分类精度和更快的训练速度。
  2. 在扩展半监督BLS中引入类概率结构，既能利用有限数量的标记样本，又能利用大量的未标记样本。

基于SBLS的HSI分类

基于SBLS的HSI分类流程图如图1所示，包括三个步骤：(1)对原始HSI数据进行分层制导滤波(HGF)处理，得到HSI的光谱-空间表示；(2)通过CP结构得到未标记样本的伪标签；(3)通过标记样本和相应的标签，以及未标记样本和相应的伪标签来训练SBLS。

分层制导滤波

SBLS的第一步是得到HSI的HGF表示，如图1中的步骤1所示。原始高光谱图像以3D张量的形式表示。如果用张量来表示向量化，不仅数据维度大大增加，而且固有的数据结构也会被破坏。潘等人[29]提出了一种基于HGF的HSI数据的光谱空间表达方法。作为一种边缘保持滤波方法，HGF能够在保持图像整体结构的同时去除噪声和小细节，从而将原始HSI数据映射到具有更丰富特征表达的特征子空间。利用HGF的优越性，对原始HSI进行处理，得到HSI的光谱-空间表达。 作为制导滤波和滚动制导滤波的扩展，HGF可以生成一系列的联合光谱-空间特征。HGF最小化以下能量函数： 其中，akp和bkp是基于输入HSI数Ĩ和引导图像G的线性系数，ωk是大小为(2r+1) × (2r+1)的像素k周围的窗口，r是窗口半径，i是ωk中的像素之一，p表示第p频带，ε是控制参数。更大的ε将带来更平稳的产出。方程(1)是岭回归，可以通过以下方法求解： 其中μk和σk分别是G的平均值和标准方差；是Ĩ在ωk中的平均值；|ω|是ωk中的像素数。更多细节可以在[29]中找到。HGF是一种预处理技巧，在[19，29]中也使用了类似的策略。

类别概率结构

SBLS的第二步是通过CP结构得到未标记样本的伪标签，如图1中的步骤2所示。通过HGF表达式XS = x1, ..., xn ∈ Rns × m给出已标记样本及其对应的标签YS = y1, ..., yns ∈ Rns × c，其中ns是已标记样本的个数，m是维度数，c是类数，yij是二进制数，如果第i个样本属于第j类，则yij = 1，否则yij = 0。给定未标记样本XU = x1, ..., xn ∈ RnU × m，其中nU表示未标记样本的数量，则样本总数为n = nS + nU。因此，标记的XS和未标记的样本XU之间的相似度可以由以下表达式来表示： 其中a是稀疏系数。方程(3)可以用具有自适应惩罚的乘法器(ADMAP)的交替方向方法来求解。更多细节可以参考[28]。xi的类概率向量写成： 其中，pi = (pi1，pi2,...,pic) ∈ R1 × c，pic表示第i个样本属于第c个类别的概率。对于未标记的样本，通过标签传播得到类概率矩阵pU ∈ RU × c。对于标记样本，定义类概率矩阵pS ∈ RS × c。因此，第i和第j个样本属于同一类的概率写为: 进一步，P可以表示为:

其中PSS表示标记样本具有相同类别的概率，PUU表示未标记样本具有相同类别的概率。PUS和PSU分别表示未标记样本和标记样本具有相同类别的概率。通过在PUS中求每一行的最大概率指数，可以得到与每个未标记样本最相似的标记样本，以及未标记样本的伪标签YU。计算原理如下:

SBLS

SBLS的第三步是训练SBLS模型，得到未标记样本的预测标签，如图1中的步骤3所示。基于RVFLNN提出的BLS包括三个部分：映射特征(由输入映射而来)、增强节点(由映射特征映射而来)和输出标签(由映射特征与增强节点联合映射而成)。学习参数为Wm，通过岭回归可以快速、近似地得到该参数。然而，BLS模型属于有监督方法，不能利用HSI中大量常见的未标记样本。因此，为了更好地将BLS应用于HSI分类，有必要对半监督BLS进行研究。本文将CP引入到BLS中，提出了SBLS来实现HSI的半监督分类。 HSI样本X = [XS;XU] ∈ Rn × m一般由HGF表示，以及由类概率结构得到的标签YS和YU。对于SBLS，首先通过随机权值WM = [W1M,...,WGMM]，偏置βM = [β1M,...,βGMM]将输入映射到”映射特征“，即： 其中GM是MF的组数。ϕi(·)是一个非线性函数，对于不同的MF组可以选择不同的函数。为了简单起见，在所有MF中使用线性映射，即Zi = XWiM + βiM。为了获得更好的特征，通常采用线性稀疏自动编码器对WM进行微调。 在得到MF, Z = [Z1,Z2,...,ZGM]后，将MF的特征映射到具有随机权重WE和偏置βE的EN上，就可以实现SBLS的扩展。 其中GE为ENs的个数。进一步，SBLS模型表示为: 其中Wm是从MF和EN到输出节点的连接权重。它可以解决以下问题：

其中λ表示对Wm的和的进一步约束。方程(8)的解可以用岭回归求解： 当λ = 0时，式(8)退化为最小二乘问题。另一方面，如果λ → ∞，则解受到严重约束并趋于0。因此，我们在这里设置λ → 0，例如2−30。通过对[Z|H]的Moore-Penrose广义逆进行近似，式(8)可以写成： 具体来说，我们有： 最后，预测标签可以通过以下方法获得： 综上所述，基于SBLS的HSI分类算法步骤如表1所示。 输入：基于HGF的HSI光谱-空间表示。 1. 根据公式(5)计算类别概率矩阵P。 2. 根据公式(6)计算未标记样本P的伪标签YU。 3. 分别根据公式(7)-(8)计算Z和H。 4. 根据公式(12)-(13)计算BLS的权重Wm。 5. 根据Wm、βE、WE、βm和Wm，用公式(7)、(8)和(14)计算预测标签Y。 输出：预测标签Y。