paper SpecularityNet

[junxnone]

SpecularityNet-PSD

• 构建首个大规模真实场景高光数据集 PSD-Dataset，并提出一个检测与去除迭代的双分支 GAN 网络，实现单张图像镜面高光的自动去除。
• 效果

PSD-Dataset（Paired Specular-Diffuse Dataset）

• 规模：13,380 张图像（2,210 个真实场景），分辨率 6960×4640。
• 构成：训练集 9,481、测试集 2,526、验证集 1,373；场景无重叠。
• 多样性：覆盖果蔬、玩具、包装、花卉、文具、日用品等 6 类；多光源 / 色温 / 强度；高光大小 / 形状 / 强度各异；偏振角度多样（固定 12 角度 + 随机角度）。
• 采集方案：可控光场 + 双偏振系统（光源前线偏振片 + 相机前圆偏振片）；旋转偏振片至 π/2 夹角，完全过滤高光，获取同场景无高光真值图。

双分支迭代GAN网络（Two-Branch Iterative GAN）

• 整体架构：编码器-解码器主干+检测/去除双分支+迭代优化+注意力机制。
• 生成器G：
  • 粗阶段：检测分支Dc输出粗高光概率图Pc；去除分支Rc以Pc为指导，输出粗无高光图像Ic'。
  • 精阶段：检测分支Dr输出精高光概率图Pr；去除分支Rr以Pr为指导，迭代优化粗结果，输出最终无高光图像Ir'。
  • 核心模块：
    • 门控卷积（Gated Conv）：抑制高光区域特征污染，类图像修复思路。
    • 分布感知通道注意力（DCA）：利用特征通道的均值、标准差、最大值建模全局上下文，增强跨通道依赖，提升复杂场景适应性。
    • 扩张卷积（Dilation Conv）：扩大感受野，处理大面积强高光。
• 判别器D：10层卷积+2层全连接，区分生成无高光图与真实无高光图。

损失函数（联合优化

• 对抗损失（RaSGAN）：拉近生成图与真值图分布。
• 像素损失：L2+梯度L1，抑制颜色/纹理失真。
• 特征损失（VGG-19）：高层特征对齐，提升细节真实感。
• 高光检测损失：二分类交叉熵，监督概率图学习。

实验结果

• 评测数据集：自建PSD-Dataset（含Chocolate、Balls、Toys、Beans等场景）。
• 对比方法：5种传统方法（Yamamoto、Shen等）+2种深度学习方法（Spec-CGAN、Multi-class GAN）。
• 定量结果（最优加粗）：

场景	方法	MSE(↓)	SSIM(↑)	PSNR(↑)
Chocolate	本文	0.10	0.9876	28.46
	Multi-class GAN	0.16	0.9728	26.38
	Spec-CGAN	0.14	0.9745	26.77
Balls	本文	0.03	0.9946	32.71
	Multi-class GAN	0.08	0.9833	28.95
Toys	本文	0.15	0.9849	26.53

• 定性结果：本文方法高光去除更彻底、纹理保留清晰、颜色无失真；对比方法易残留高光、纹理模糊或颜色偏移。
• 泛化性测试：在其他真实图像上，模型无明显黑边/伪影，优于合成数据训练模型。

局限性

• 大面积强高光：过曝区域纹理完全丢失，模型难以重建。
• 非朗伯材质：金属等各向异性材质的高光无法完全去除。
• 数据集范围：当前仅覆盖朗伯物体，未包含室外场景。

总结与价值

• 数据集里程碑：PSD-Dataset为首个大规模真实场景高光数据集，为领域提供标准训练/评测基准。
• 方法创新：检测-去除迭代+分布感知注意力+门控卷积，有效解决单图高光去除的颜色失真与残留问题。
• 应用价值：可直接用于文档扫描、工业质检、自动驾驶、摄影后期等场景，提升下游视觉任务精度。

Reference

• github
• paper 2021 Single-Image Specular Highlight Removal via Real-World Dataset Construction