与原文流程图理解问题

[Fuzm7]

mask_lr_lr_feat_lr = self.content_encoder(compressed_lr_feat) #从hr_feat得到另一部分初始低通滤波特征
在初始ALPF生成器过程中，为什么直接使用low resolution特征进行低通核的生成，后续又使用high resolution的低通核对其carafe上采样，且此处代码存在上采样的重复性：mask_lr_lr_feat = F.interpolate( #利用初始低通滤波对另一部分初始低通滤波特征上采样
carafe(mask_lr_lr_feat_lr, mask_lr_init, self.lowpass_kernel, self.up_group, 2), size=compressed_hr_feat.shape[-2:], mode='nearest') 此处 carafe(mask_lr_lr_feat_lr, mask_lr_init, self.lowpass_kernel, self.up_group, 2)已经上采样2倍

最大的问题是原文中的意思是通过high resolution生成的低通核对特征Y进行上采样，另外X自身进行AHPF，后续生成的Z去生成ALPF和AHPF核，但代码中完全没体现这点，代码中的操作对象都是经过content_encoder后的核而不是特征。

最后，原文中强调的Offset Generator也是默认没有启用的，是因为效果不好吗，还是？

[Linwei-Chen]

感谢你的关注，很好的提问，该问题在其他issue中已讨论过；对核的操作与对特征的操作实现基本是等价的，注意二者间没有非线性的操作（可参考ECCV FADE 中的semi conv部分），且特征通道数更大，因此对核的操作可以减少计算量。
对检测分割效果很好，详见Ablation study和可视化部分；

[Fuzm7]

那关于上采样的重复性呢，请问该如何理解出现的重复上采样违背了原文中在4.2 Enhancing Initial Fusion部分所提出的By adopting this approach, we circumvent the use of simple interpolation, resulting in finer initial fusion
results and benefiting subsequent generators. 很明显使用了插值操作。
无论是从carafe操作的内部还是外部，未体现出在原文中ALPF部分将低通核分为4组对应操作后pixel shuffle，您的意思是这两个也能等价吗，这完全不是相同的原理啊，我不是很理解

[Lbx-neu]

那关于上采样的重复性呢，请问该如何理解出现的重复上采样违背了原文中在4.2 Enhancing Initial Fusion部分所提出的By adopting this approach, we circumvent the use of simple interpolation, resulting in finer initial fusion results and benefiting subsequent generators. 很明显使用了插值操作。 无论是从carafe操作的内部还是外部，未体现出在原文中ALPF部分将低通核分为4组对应操作后pixel shuffle，您的意思是这两个也能等价吗，这完全不是相同的原理啊，我不是很理解

对这个问题我也有疑问，carafe操作实际上已经对核进行了一次上采样，为什么又通过一次F.interpolate进行插值

[vie131313]

感谢你的关注，很好的提问，该问题在其他issue中已讨论过；对核的操作与对特征的操作实现基本是等价的，注意二者间没有非线性的操作（可参考ECCV FADE 中的semi conv部分），且特征通道数更大，因此对核的操作可以减少计算量。 对检测分割效果很好，详见Ablation study和可视化部分；

作者您好，我对您的工作十分钦佩，但是就前面提出的问题“最大的问题是原文中的意思是通过high resolution生成的低通核对特征Y进行上采样，另外X自身进行AHPF，后续生成的Z去生成ALPF和AHPF核，但代码中完全没体现这点，代码中的操作对象都是经过content_encoder后的核而不是特征。”这个地方和代码的出入感觉很大，虽然作者您说已经讨论过等价了，但是这个一一对应的关系我感觉还是非常难理解，请问您可不可以再详细的解释一下代码和图的对应关系呀？真的非常感谢！！！

[Li-Shuangzhi]

同问