ML Tasks Image SHR

[junxnone]

Specular Highlight Removal

• 镜面高光去除
• 镜面高光是由光在光滑表面发生镜面反射产生的局部高亮现象，会破坏图像纹理和一致性，进而影响下游视觉任务

经典及传统方法

• 局限性：这些传统方法往往依赖对表面性质、光照或材质先验的严格假设，使得在复杂真实场景下的适用性受限

基于色彩空间与反射模型的方法

• HIS 颜色空间方法：通过在 HIS 空间中用同一漫反射色度下的漫反射像素值去匹配高光像素，从而分离高光分量（文中称为“基于 HIS 的经典方法”）
• 二色反射模型（dichromatic reflection model）方法：将反射分解为漫反射与镜面反射两部分，通过模型分离实现高光去除；此类方法在早期大量使用并发展出多种变体

其它传统手段

• 滤波、偏振成像、主成分分析（PCA）等也被应用于高光去除领域

深度学习方法

• 多图像（multi-image）方法与单幅图像（single-image）方法

多图像方法

利用多视角信息、生成的高光掩码或其他辅助数据来辅助分离和还原；在精度上常有优势，但实际部署受限于需额外数据/采集条件。例如：基于多视角或光场的变分优化、利用掩码引导的两阶段方法等

局限：需要多图或额外信息，难以在仅有单张图像的应用场景中广泛使用

单幅图像方法

更具实用性和通用性，研究集中于如何从单张图像中准确分离并恢复被高光破坏的漫反射细节。

引入 UNet、GAN、Transformer 等网络架构。例如 SpecSeg（基于 UNet 的分割导向网络）成为有力基线；后续出现基于 Transformer 的 DHAN-SHR 等方法以增强长程依赖建模能力

**面临问题：**卷积网络（CNN）在捕获长程依赖上受限，而 Transformer 虽然建模能力强但计算与内存成本高、推理慢，导致精度与实时性之间的权衡问题