非配对图像恢复（UIR）是一项重要任务，因为获取具有相同背景的配对退化/清晰图像存在困难。在本文中，我们提出了一种新颖的UIR方法，该方法基于这样一种假设：图像既包含与退化相关的特征（这些特征会影响退化程度），也包含与退化无关的特征（如纹理和语义信息）。我们的方法旨在确保恢复结果中与退化相关的特征与清晰图像的相关特征高度相似，同时使与退化无关的特征与输入的退化图像的相关特征保持一致。具体而言，我们引入了一个在斯蒂费尔流形上优化的特征正交化模块，用于解耦图像特征，确保特征不相关。我们提出了一种任务驱动的深度特征分类器，根据不相关特征与退化预测的相关性为其分配权重。为了避免训练过程依赖于单对输入数据中清晰图像的质量，我们提议维护多个描述清晰图像退化程度的与退化相关的代理，以增强模型的鲁棒性。最后，我们引入了加权PatchNCE损失，将输出图像中与退化相关的特征向清晰图像的相关特征靠拢，同时使与退化无关的特征接近退化输入图像的相关特征。

在图像超分辨率（SR）领域，恢复缺失的高频纹理一直是一个重要目标。然而，基于像素级约束的深度超分辨率网络往往侧重于稳定的边缘细节，无法有效恢复随机的高频纹理。直到生成对抗网络（GAN）出现后，基于GAN的超分辨率模型才实现了逼真的纹理恢复，并迅速成为纹理超分辨率的主流方法。但基于GAN的超分辨率模型仍存在一些缺点，例如依赖大量参数，以及生成与真实情况不一致的虚假纹理。受传统纹理分析研究的启发，本文提出了一种基于局部纹理模式估计（LTPE）的新型超分辨率网络，该网络无需GAN即可恢复精细的高频纹理细节。首先，设计了一个可微分的局部纹理算子来提取局部纹理结构，并利用纹理增强分支基于LTPE预测高分辨率的局部纹理分布。然后，将预测的高分辨率纹理结构图作为纹理融合超分辨率分支的参考，以获得高质量的纹理重建结果。最后，同时使用L1损失和Gram损失来优化网络。实验结果表明，所提方法无需使用GAN结构就能有效恢复高频纹理。此外，恢复的高频细节受到局部纹理分布的约束，从而减少了纹理生成中的显著误差。

忠实的文本图像超分辨率（SR）具有挑战性，因为每个字符都有独特的结构，并且通常呈现出多样的字体样式和布局。尽管现有方法主要关注英文文本，但对中文等更复杂的文字关注较少。在本文中，我们提出了一个高质量的文本图像超分辨率框架，旨在恢复低分辨率（LR）中文字符的精确笔画。与依赖字符识别先验来规范超分辨率任务的方法不同，我们提出了一种新颖的结构先验，该先验提供结构层面的指导以提升视觉质量。我们的框架将这种结构先验融入StyleGAN模型中，利用其生成能力进行恢复。为了在适应各种字体样式和布局的同时保持字符结构的完整性，我们实现了一种基于码本的机制，以限制StyleGAN的生成空间。码本中的每个代码代表特定字符的结构，而StyleGAN中的向量w则控制字符的样式，包括字体、方向和位置。通过码本和样式之间的协同作用，我们生成了一个在空间和结构上都与低分辨率字符对齐的高分辨率结构先验。实验表明，这种结构先验提供了强大的、特定于字符的指导，能够准确恢复受损字符的清晰笔画，即使对于具有不规则布局的真实世界低分辨率中文文本也是如此。

高光谱图像（HSI）超分辨率（SR）的研究进展仍落后于RGB图像超分辨率的研究。高光谱图像通常具有大量的光谱波段，因此为高光谱图像超分辨率精确建模光谱波段间的相互作用十分困难。此外，高光谱图像超分辨率的训练数据难以获取，所以数据集通常规模较小。在这项研究中，我们提出了一种新的测试时训练方法来解决这一问题。具体而言，我们开发了一种新颖的自训练框架，该框架能生成更准确的伪标签和更精确的低分辨率-高分辨率关系，从而使模型能够利用这些内容进行进一步训练，以提升性能。为了更好地支持我们的测试时训练方法，我们还提出了一种新的网络架构，无需建模光谱波段间的相互作用即可学习高光谱图像超分辨率；同时提出了一种新的数据增强方法——光谱混合（Spectral Mixup），以在测试时增加训练数据的多样性。我们还收集了一个新的高光谱图像数据集，其中包含多种有趣物体的图像，涵盖食物、植被、材料以及一般场景等。在多个数据集上进行的大量实验表明，我们的方法经过测试时训练后，能够显著提升预训练模型的性能，并且在高光谱图像方面显著优于其他竞争方法。

任意尺度图像超分辨率（ASISR）是计算机视觉领域近期的一个热门课题，其目标是从低分辨率输入图像中实现任意尺度的高分辨率恢复。这项任务通过将图像表示为一个连续的隐式函数来实现，该过程涉及两个基本模块：一个基于深度网络的编码器和一个隐式神经表示（INR）模块。尽管已经取得了显著进展，但这种高度不适定场景下的一个关键挑战是，许多常见的几何图案，如重复纹理、边缘或形状，在低分辨率图像中会发生严重的扭曲和变形，这自然导致在其高分辨率恢复结果中出现意想不到的伪影。因此，将旋转等变性嵌入到ASISR网络中是必要的，因为大量研究表明，这种增强能够使恢复结果忠实地保持输入图像中几何图案的原始方向和结构完整性。基于此，本研究致力于构建一种具有旋转等变性的ASISR方法。具体而言，我们精心重新设计了INR和编码器模块的基本架构，使其具备超越传统ASISR网络的内在旋转等变能力。通过这样的改进，ASISR网络首次能够实现从输入到输出端到端的旋转等变性保持。我们还提供了扎实的理论分析来评估其内在等变性误差，证明了其嵌入这种等变结构的固有性质。在模拟数据集和真实数据集上进行的实验证实了所提方法的优越性。我们还验证了所提框架能够以即插即用的方式轻松集成到当前的ASISR方法中，以进一步提升它们的性能。

深度神经网络通过学习从低分辨率（LR）图像到高分辨率（HR）图像的映射，在图像超分辨率（SR）任务中展现出了卓越的性能。然而，超分辨率问题通常是一个不适定问题，现有方法存在诸多局限性。首先，超分辨率可能的映射空间会极大，因为从同一低分辨率图像可能超分辨出许多不同的高分辨率图像。因此，很难从如此大的空间中直接学习到理想的超分辨率映射。其次，为了产生理想的超分辨率性能，往往不可避免地需要开发非常大的模型，其计算成本极高。在实际应用中，可以通过模型压缩技术减少模型冗余，从而获得紧凑的模型。尽管如此，由于超分辨率映射空间极大，现有模型压缩方法很难准确识别冗余组件。为了缓解第一个挑战，我们提出了一种双回归学习方案，以缩小可能的超分辨率映射空间。具体而言，除了从低分辨率到高分辨率图像的映射外，我们还学习了一种额外的双回归映射，用于估计下采样核并重建低分辨率图像。通过这种方式，双映射起到了约束作用，从而缩小了可能的映射空间。为了解决第二个挑战，我们提出了一种双回归压缩（DRC）方法，基于通道剪枝在层级别和通道级别上减少模型冗余。具体来说，我们首先开发了一种通道数量搜索方法，通过最小化双回归损失来确定每一层的冗余度。在得到搜索到的通道数量后，我们进一步利用双回归方式评估通道的重要性，并剪枝冗余通道。大量实验表明，我们的方法在获得精确且高效的超分辨率模型方面是有效的。

引导式图像超分辨率（GISR）旨在借助另一模态的高分辨率（HR）图像，从对应的低分辨率（LR）图像中重建出高分辨率目标图像。现有的基于学习的方法通常采用对称的双流网络，从引导图像和目标图像中提取特征，然后通过人工设计的模块在早期或晚期对这些特征进行融合，以促进联合推理。尽管这些方法性能显著，但仍存在几个问题：1）对称架构将不同模态的图像同等对待，可能忽略了它们之间的固有差异；2）低级特征包含详细信息，而高级特征捕捉语义结构。然而，确定哪些层应该融合以及选择哪些融合操作仍未得到解决；3）大多数方法以增加计算复杂度为代价来获得性能提升，因此平衡计算复杂度和模型性能之间的权衡仍然是一个关键问题。为了解决这些问题，我们提出了一种双级跨模态神经架构搜索（DCNAS）框架，用于自动设计高效的GISR模型。具体而言，我们提出了一个双级搜索空间，使NAS算法能够识别有效的架构和最优的融合策略。此外，我们提出了一种超网络训练策略，该策略采用经过 pairwise 排序损失训练的性能预测器来指导超网络训练过程。据我们所知，这是首次尝试将NAS算法引入GISR任务。大量实验表明，所发现的模型系列DCNAS-Tiny和DCNAS在多个GISR任务上取得了显著改进，包括引导式深度图超分辨率、引导式显著图超分辨率、引导式热成像超分辨率和 pansharpening（全色锐化）。此外，我们分析了通过我们的方法搜索到的架构，并为未来的研究提供了一些新的见解。

在本文中，我们研究了智能手机基于参考图像的超分辨率（RefSR）技术中的两个具有挑战性的问题：（i）如何选择合适的参考图像；（ii）如何以自监督的方式学习RefSR。具体而言，我们提出了一种新颖的自监督学习方法，用于从双摄像头和多摄像头变焦观测中实现真实场景下的RefSR。首先，考虑到现代智能手机中多摄像头的普及性，变焦倍数更高的（长焦）图像自然可以作为参考，来指导变焦倍数较低的（超广角）图像的超分辨率（SR）处理，这使我们有机会学习一个深度网络，该网络能从双变焦观测中执行超分辨率处理（DZSR）。其次，对于DZSR的自监督学习，我们采用长焦图像而非额外的高分辨率图像作为监督信息，并从中选取中心patch作为参考，以对相应的超广角图像patch进行超分辨率处理。为了减轻训练过程中超广角低分辨率（LR）patch与长焦真实值（GT）图像之间的错位影响，我们提出了一种两阶段对齐方法，包括基于patch的光流对齐和辅助低分辨率引导对齐。为了生成视觉效果更佳的结果，我们提出了局部重叠切片沃瑟斯坦损失。此外，我们利用多变焦观测来探索自监督RefSR，并提出了一种渐进式融合方案，以有效利用参考图像。实验表明，与现有先进方法相比，我们的方法在定量和定性性能上都取得了更好的结果。

高光谱超分辨率通常是通过将低空间分辨率的高光谱图像与高空间分辨率的多光谱图像融合来实现的，最近已经提出了许多基于张量的方法来完成这项任务。然而，在这类基于张量的方法中，假设从期望的超分辨率图像生成观测到的高光谱图像所涉及的空间模糊操作可以分离为独立的水平模糊和垂直模糊。最近的研究认为，这种可分离的空间退化模型难以很好地模拟真实传感器的操作，例如，真实传感器可能会表现出各向异性模糊。为了适应这一情况，本文提出了一种基于克罗内克分解的广义张量公式，以处理任何一般的空间退化矩阵，包括那些不像之前假设的那样可分离的矩阵。对该广义公式的分析揭示了能够保证期望的超分辨率图像精确恢复的条件，并且提出了一种在块组稀疏正则化驱动下实现这种恢复的实用算法。大量的实验结果表明，所提出的广义张量方法不仅优于传统的基于矩阵的技术，而且也优于最先进的基于张量的方法；在各向异性空间模糊的情况下，相对于后者的优势尤为显著。