将生成式真实图像超分辨率模型与人类视觉偏好相结合,由于感知与感知的权衡以及多样化且未知的退化,具有挑战性。以往的方法依赖于离线偏好优化和静态度量聚合,这些聚合通常不可解释,且在良好条件条件下容易发生伪多样性。我们提出OARS,这是一个基于COMPASS的流程感知在线对接框架,COMPASS是一种基于MLLM的奖励,通过结合对保真性保存和感知收益进行建模,从而评估LR与SR的过渡,并实现基于输入质量的权衡。为了训练 COMPASS,我们设计出涵盖合成和真实降解的 COMPASS-20K,并引入三阶段感知标注管道,可生成经过校准、精细化的训练标签。在 COMPASS 的指导下,OARS 通过浅层 LoRA 优化,通过在策略上进行探索,从冷启动流量匹配到全参考,最终实现无参考 RL 的渐进式在线对齐。广泛的实验和用户研究表明,在保持保真度的同时,能够持续改进感知效果,从而在Real-ISR基准测试中实现最先进的性能。

盲图像去模糊任务旨在从复杂且未知的退化过程中恢复具有高保真细节和一致结构的清晰图像。现有的盲图像去模糊方法在面对真实世界中具有空间变化特性的复杂退化时仍然存在困难，并且缺乏必要的语义感知能力，难以可靠地区分真实纹理与伪影。 为解决上述问题，本文提出 CogSENet，一种受鹰类视觉系统启发的动态语义对齐重建框架。通过模拟鹰眼主动扫视（saccadic scanning）的视觉机制，本文设计了一种语义驱动状态空间模块（Semantic-Driven State Space Module, SDSSM），该模块通过可微路由机制实现具有语义感知能力的 token 重新分组，从而支持基于提示条件（prompt-conditioned）的长程依赖建模。 为了实现具有物理可解释性的纹理与结构恢复，本文提出了双频融合模块（BiFreqFusionBlock, BFFB），该模块模拟鹰类视网膜中功能分化机制，利用小波变换将特征分解为高频与低频成分，并进行有效融合，以增强细节纹理恢复和整体结构保持能力。 此外，本文从模糊图像中估计连续模糊场（Continuous Blur Field, CBF），并将其与 CLIP 语义先验相融合，用于调制最深层潜在特征表示，从而模拟人眼/鹰眼的焦距适应机制，实现针对空间非均匀模糊区域的自适应图像恢复。 大量实验结果表明，CogSENet 在视觉质量和结构保真度方面均优于当前先进的去模糊方法，同时具有更少的参数量。此外，该方法在去雾、去雨以及图像去噪等任务中也展现出了良好的泛化性能。

基于扩散的先验方法在真实图像超分辨率(ISR)方面显示出显著效果,但两个关键挑战依然存在:平衡像素级保真度与语义质量,以及适应多样化的退化。现有的双分支方法在语义训练中冻结了像素模块,但语义分支仍可扩展像素子空间内的容量,从而实现真正的感知改进。此外,使用单个静态适配器无法在异构现实世界中的损坏进行泛频。为解决这两个问题,我们提出由FreeOrtho-SR提出,其中包括: LoRA专家(FreqMoE)的流动引导型混合技术,通过一种基于FFT的非参数降解特征提取器,将输入传递给专业专家,该提取器编码频域签名,从而实现跨腐败类型之间稳定和可解释的专业化处理; Gonal渐变投影(OGP)将双目标优化重新定义为子空间受限的问题:通过在综合专家权重三角洲上通过SVD提取像素保真子空间,并将语义梯度投影到其空中空间中,OGP可确保两个目标之间的正交性,从而实现真正互补的学习,而无需相互干扰。实验表明,FreqOrtho-SR 在多个基准测试中实现了具有竞争力的整体性能,并实现了强大的保真感知权衡,并实现了高效的单步推断。我们方法的源代码可以在 $\href{ 找到此 https URL}{\texttt{sonhm3029/FreqOrtho-SR}}$

尽管10B级工业基础模型突破了图像绘制的界限,但其高昂的计算成本严重阻碍了实际部署。构建高度优化的特定任务专家提供了一个有前景的解决方案;然而,极端的结构压缩不可避免地会引发严重的表征瓶颈。为了克服这一点,我们提出了Moebius,一个高效轻量化的画框。我们通过引入本地- 混合交互 区块。本地组合 互动 模块将空间上下文和全局语义先验完美地概括为固定大小的线性矩阵,在保留复杂潜在交互的同时,大幅缩小参数。此外,为了释放这种高度紧凑架构的全部代表性,我们将其与自适应的多粒度蒸馏策略协同结合。严格在潜在空间内操作,以避免昂贵的像素空间解码,该策略可动态平衡多种基于梯度的损耗,以实现高保真对齐。跨越自然和纵向基准的广泛实验表明,这种最佳协同效应使莫比乌斯能够与10B级工业综合派FLUX.1-Fill-Dev的发电质量相媲美甚至超越。值得注意的是,Moebius 使用的参数(0.22B 与 0.22B)的 2% 比例不足。11.9B)在交付时 总推理时间加速,为高保真画设定了新的效率标准。项目页面 此 https URL。

传统图像复原侧重于感知质量,而任务驱动图像复原(TDIR)则旨在最大限度地提升下游高层视觉任务的性能。近期利用生成性先验的方法显示出对TDIR的前景;然而,它们通常因计算效率低下以及可能通过随意更新所有潜在代币而产生潜在的语义改变。本文指出,并非所有视觉信息对机器感知都同样重要。通过对潜在代币空间的分析,我们观察到与任务相关的线索在代币序列中分布不均,表现出索引方面的专业化。这表明,选择性地改进某个代币集,足以实现任务驱动目标。利用这一见解,我们提出TaskTok,这是一个新颖的框架,通过可学习的代币切换和轻量级令牌优化模块,仅选择性地恢复与任务相关的代币。跨图像分类、语义分割和物体检测的广泛实验表明,TaskTok 以高计算效率显著提升了任务性能。源代码可在此 https URL 获取

图像复原旨在从退化的低质量输入中重建高质量的图像。随着图像复原模型的计算需求不断上升,人们对针对快速高效推理而优化的轻量级架构产生了越来越多的兴趣。逻辑门网络(LGN)采用NAND和XOR等基本逻辑运算,最近已成为实现高效计算的有前景的方向。然而,它们在图像复原领域的潜力在很大程度上尚未得到充分发掘。在本文中,我们介绍了 LogicIR,这是首款专为图像复原任务设计的 LGN。LogicIR 融合了一种完全由逻辑门组成的 UNet 设计架构。此外,我们建议采用可区分的位解码层和索引洗牌机制,以改进逻辑门间的信息传播。多个图像修复基准的实验结果表明,LogicIR 以显著降低的计算成本实现了强大的性能,使 LogicIR 成为图像复原的可行且高效的替代方案。源代码可在此 https URL 获取

邻近的切片自我监督去噪对体积医学成像具有吸引力,但片间错位会打破解剖学对应关系,并常常产生模糊和模糊的误差,而相邻的切片则被天真地用作目标。我们提议采用邻方引导的补丁抽样(NGPS),这是一种轻量级框架,可在局部片间错位下构建周边监管,且无需明确注册。为避免从误导性目标中学习,以往的方法通常会掩盖不透明区域,但这会稳定训练,代价是导致一些非次要的邻近证据无法利用,尤其是在高频解剖学边界方面。NGPS通过将结构匹配与信号检索分开来解决:对于每个遮蔽位置,它通过简单的导览图像(例如快速双侧过滤),搜索一个与结构相似的区域,同时直接从匹配坐标处的原始噪声邻居处取回监督信号。通过在获取降噪指南的同时从相邻切片中取回原始值,NGPS无需学习注册模块即可构建局部伪目标。在经过评估的CT和合成的Rician磁共振成像环境中,NGPS可提高保真度和结构敏感度指标。代码可在此 https URL 获取。

自我监督的视频消噪方法通常将基于图像的框架扩展到时间维度,但往往难以将帧间时间一致性与内部空间特异性相结合。现有的视频盲点网络(BSN)通过遮盖中心像素需要噪音独立性,这种约束会阻止使用空间证据进行纹理恢复,从而切断时间相关性并导致纹理丧失。为此,我们提出了Frames2Residual(F2R)这一时间形式脱钩框架,该框架明确将自我监督的训练分为两个不同阶段:盲间一致性建模和非盲度空间纹理恢复。在第一阶段,盲时估计器通过帧式盲法来学习帧间一致性,从而产生时间一致的锚点。在第二阶段,一个非盲空间精炼器利用这种锚点安全地重新引入中心框架,并在保持时间稳定的同时,恢复内部高频空间残差。广泛的实验表明,我们的脱钩策略使F2R在sRGB和原始视频基准测试中均优于现有的自监督方法。

现代立体声智能手机可实现沉浸式XR内容的拍摄。然而,相机模块之间的硬件异质性常常会引起严重的不对称模糊产物。现有的方法和基准在很大程度上假设了同质立体声设置,因此并未明确解决此类不对称的退化问题。为了弥合这一差距,我们为异构立体声衰减提供了一个专门的框架。首先,我们介绍由真实智能手机立体声捕捉(通过多帧集成)构建的异构立体声生成(HSD)数据集。其次,我们提出物理和超极限制交叉注意力(PECA),这是一种轻量级模块,可将交叉视图匹配限制为由光学衍生差异上界约束的超极搜索窗口。通过执行物理上有效的差异限制,PECA 实现了高效且可靠的交叉视图功能融合。此外,我们通过残余融合实现自信均衡的注意力,强调当对应关系可靠时,交叉引导的脱毛,同时在封闭或不可靠的区域自然回落至自降解。PECA 与架构无关,且持续改进了基于 CNN、Transformer 和 NAFNet 的基准。对HSD进行的广泛实验表明,PECA增强型模型以优高的效率实现修复性能的提升。