高光谱图像处理的深度学习方法

高光谱图像处理分析的DL方法

Deep Learning Meets Hyperspectral Image Analysis: A Multidisciplinary Review综述阅读笔记

1. 高光谱图像

高光谱图像（Hyperspectral imaging，HSI）目前广泛应用在遥感、生物医药、食品质量监测、农业、文化遗产等领域。

高光谱图像相比于RGB图像和多光谱图像能够传递更多的谱信息：高光谱图像除了二维空间信息 xy 之外，还能够获取密集采样的光谱信息 λ 。当获取的连续光谱带的数量级为$10^2 \sim 10^3$时，就可以称得上是高光谱图像。其每个像素实际上是一个高维向量，通常包含来自数百个连续窄带光谱通道（半高全宽，FWHM 介于 2 和 20 nm) 的信息，覆盖一个或多个相对较宽的光谱间隔（通常但不限于 400-2500 nm 波长范围内）。

与之相似的概念还有多光谱图像（Mutispectral imaging，MSI），多光谱图像则关注在获得数十个波段（典型的 FWHM 为 100-200 nm）的信息，各个波段不一定是连续/等距的。

1.1 高光谱图像的采集

目前卫星传感器主要有两大类型：摆扫式（whisk broom）和推扫式（push broom），摆扫式是通过一个“镜子”来回移动收集从一个像素上测量的值$x_iy_j$​​（图1）。而推扫式也称沿轨道扫描仪， 使用的探测器安置在垂直于航天器的飞行方向，飞行器向前飞行时候，一次可以收集一行的图像$xy_j$​​​​（图2）。对于摆扫模式，时间分辨率会受到很大的影响，特别是在想要获得合适的空间分辨率的情况下，大多数情况下，这样的缺点会影响逐点光谱法在 HSI 采集中的实际使用。图2所示的推扫式被应用得更为广泛，可以获得较高分空间/谱分辨率的图像。

图1 whiskbroom

图2 pushbroom

及时选择性光谱采集（Selective spectral acquisition in time）是另一种基础的采集模式，该模式会对传入图像进行过滤，以在$t_k$时刻生成 $xy\lambda_k$ 图像（见图 3b）。 这里的主要权衡是光谱和时间分辨率之间的权衡，其中光谱滤波可以使用机械滤光轮（通常仅限于 MSI）或通过声光或液晶可调滤波器（以更高的成本启用 HSI）来完成 .图 3c则 描绘了光谱解析探测器阵列的这种想法。而另一种方法（图3d），从单次拍摄中快速获得 HSI 数据集，是通过从高度二次采样（快照）光谱（例如商业数码相机拍摄的 RGB 图像），创建逆映射来推导出$\hat{\lambda}$的逐像素估计。

图3 HSI几种采样模式

1.2 从RGB到HSI

HSI能够从RGB图像或者稀疏光谱图像中生成，相关文献如下：

• Learned Spectral Super-Resolution. ICCV. 2017
• HSCNN: CNN-Based Hyperspectral Image Recovery from Spectrally Undersampled Projections. ICCVW, 2017
• CNN：
  • An efficient CNN for spectral reconstruction from RGB images. ICIP. 2018
  • Accurate Spectral Super-Resolution from Single RGB Image Using Multi-scale CNN. PRCV. 2018
• 3D CNN:2D-3D CNN Based Architectures for Spectral Reconstruction from RGB Images. CVPR. 2018
• Dense and Residual Networks:HSCNN+: Advanced CNN-Based Hyperspectral Recovery from RGB Images. CVPR. 2018
• Dirichlet networks:Unsupervised Sparse Dirichlet-Net for Hyperspectral Image Super-Resolution. CVPR. 2018
• GAN:Adversarial Networks for Spatial Context-Aware Spectral Image Reconstruction from RGB. CVPR. 2017
• Review:NTIRE 2018 Challenge on Spectral Reconstruction from RGB Images

除了DL的方法之外，由于光谱重建的质量依赖于相机的颜色光谱灵敏度 (CSS) ，所以有一些方法将 CSS 函数包含在内，以联合学习最佳 CSS 和光谱恢复图 ，或直接从未知的设置中的 RGB 图像生成 CSS 估计，以更好地调节光谱重建 。甚至学习最佳滤波器以构建优化的多光谱相机以用于快照 HSI。（其它方法可以参考Deep Learning Meets Hyperspectral Image Analysis）

2. 遥感中的高光谱图像处理任务

RS中的HSI数据分析的主要任务集中在图像处理（包括校准和辐射校正）、特征提取、分类、目标识别和场景理解。 大多数来自表征学习（Representation Learning）的研究和 DL 架构的技术突破已经在 RS 应用中得到了相当快速的测试，应用在这些领域中也十分合适。

2.1 Classification

地面类型的分类是 RS 的主要任务之一，其分类目标主要与作物（玉米、草、大豆等）或城市地区（沥青、树木、砖块等）有关。

由于像素的丰富性和多样性，像数分类可以建立在利用光谱特征的基础上，其中有代表性的工作主要有：

• Deep Convolutional Neural Networks for Hyperspectral Image Classification. journal of Sensors. 2015
• Deep Recurrent Neural Networks for Hyperspectral Image Classification. IEEE地球科学和遥感学报. 2017
• Stacked Denoise Autoencoder Based Feature Extraction and Classification for Hyperspectral Images. jornal of Sensors. 2016

另一种分类是基于空间特征的，因为遥感数据在空间上具有连续性，所以分类可以利用相邻像素的相似性和模式：

• On combining multiscale deep learning features for the classification of hyperspectral remote sensing imagery. Interbnational Journal of Sensing. 2015
• Hyperspectral image reconstruction by deep convolutional neural network for classification. Pattern recongnition. 2017

此外，联合考虑光谱和空间特征已被证明可以增强分类：

• Classification of hyperspectral image based on deep belief networks. ICIP 2014
• Diverse Region-Based CNN for Hyperspectral Image Classification. IEEE Trans. Image Process. 2018
• 医学：Optical biopsy of head and neck cancer using hyperspectral imaging and convolutional neural networks. 2018
• Spectral-spatial classification of hyperspectral image using autoencoders. 2013

多尺度空间特征的引入也可以稍微提高性能：

• High Efficient Deep Feature Extraction and Classification of Spectral-Spatial Hyperspectral Image Using Cross Domain Convolutional Neural Networks. IEEE. 2019
• Learning multiscale and deep representations for classifying remotely sensed imagery. ISPRS Journal of Photogrammetry and Remote Sensing. 2016
• A CNN With Multiscale Convolution and Diversified Metric for Hyperspectral Image Classification. IEEE. 2019

3D-CNN：Hyperspectral Image Classification With Deep Learning Models. IEEE. 2018

目前遥感领域公开的HSI数据集有：Salinas、Pavia、Indian Pines、Kennedy Space Center（http://www.ehu.eus/ccwintco/index.php/Hyperspectral_Remote_Sensing_Scenes）。

针对数据集有限，为减少训练数据和测试数据取自统一图片而带来的偏差的影响，On the Sampling Strategy for Evaluation of Spectral-Spatial Methods in Hyperspectral Image Classification提出了一种随机采样方法。

2.2 Segmentation

分割是逐像素的分类，所以HSI的分割任务和分类任务区分暂时不够清楚。照搬文章中的原话：超立方体分割可以用多种方法来实现，它有助于更好地处理后续的图像分类。

• Alam等人提出了一种基于光谱和空间特性的超像素分割技术：CRF learning with CNN features for hyperspectral image segmentation
• 图像分割被用作一个初步步骤，以便将后续的分类集中在有意义和边界良好的区域：Novel segmented stacked autoencoder for effective dimensionality reduction and feature extraction in hyperspectral imaging

2.3 Target Detection and Anomaly Detection

目标检测任务相关工作：

• 车辆检测：
  • Vehicle Detection in Satellite Images by Parallel Deep Convolutional Neural Networks
  • Vehicle Detection in Satellite Images by Hybrid Deep Convolutional NeuralNetworks
• 油罐检测：A Hierarchical Oil Tank Detector With Deep Surrounding Features for High-Resolution Optical Satellite Imagery
• 建筑检测：Building detection in very high resolution multispectral data with deep learning features

目标检测也可以用无监督的方法来处理。在这种情况下，它可以被视为异常检测，通常不需要目标物体的先验信息。这些方法尤其有用，例如，在森林火灾、海上石油泄漏或更一般的情况下，用于检测相对于先前采集的特定图像场景中发生的低概率或显著变化的目标。这些方法的可选应用领域包括，例如，灾害监测和防御应用，以及食品加工和各种制造相关的质量控制。

异常检测相关工作：

• 利用SAEs：A stacked autoencoders-based adaptive subspace model for hyperspectral anomaly detection. 2018
• 利用DBN：An Unsupervised Deep Hyperspectral Anomaly Detector. 2018
• Transferred Deep Learning for Anomaly Detection in Hyperspectral Imagery. 2017
• GETNET: A General End-to-End 2-D CNN Framework for Hyperspectral Image Change Detection. 2019
• Hyperspectral remote sensing image change detection based on tensor and deep learning. 2018

2.4 Data Enhancement：Denoising, Spatial Super-Resolution and Fusion

采集HSI的物理手段可能影响数据采集的质量，可以通过数据增强技术来解决部分问题。

• 综述：Deep Hyperspectral Prior: Denoising, Inpainting, Super-Resolution. ICCV. 2019

• 去噪：

  • Deep convolutional networks with residual learning for accurate spectral-spatial denoising. 2018
  • Trainable spectral difference learning with spatial starting for hyperspectral image denoising. 2018

• 超分辨率：

  • L1/2-Regularized Deconvolution Network for the Representation and Restoration of Optical Remote Sensing Images. 2013
  • A New Pan-Sharpening Method With Deep Neural Networks. 2015
  • 迁移学习：Hyperspectral Image Superresolution by Transfer Learning. 2017
  • 端到端：
    • A Deep Network Architecture for Super-Resolution-Aided Hyperspectral Image Classification With Classwise Loss. 2018
    • Separable-spectral convolution and inception network for hyperspectral image super-resolution. 2019
    • Hyperspectral Image Spatial Super-Resolution via 3D Full Convolutional Neural Network. 2017
  • 无需图像辅助：Hyperspectral image super-resolution with spectral–spatial network. 2018
• 数据融合（利用不同的互补数据元改进任务）：
  • Deep Fusion of Remote Sensing Data for Accurate Classification. 2017
  • Hyperspectral and LiDAR Data Fusion Using Extinction Profiles and Deep Convolutional Neural Network
  • Hyperspectral and LiDAR Fusion Using Deep Three-Stream Convolutional Neural Networks. Remote Sens.2018
  • Multisource Hyperspectral and LiDAR Data Fusion for Urban Land-Use Mapping based on a Modified Two-Branch Convolutional Neural Network. 2018
  • Feature Extraction for Classification of Hyperspectral and LiDAR Data Using Patch-to-Patch CNN. 2018

3. DL方法在高光谱图像中的应用

从不同的网络结构来考虑。以CNN、Autoencoders、Deep Belief Networks、Generative Adversarial Networks、Recurrent Neural Networks等为索引，分析各种结构的网络在高光谱图像处理中的应用。

3.1 CNN