请问PI3X是在VGGT的模型上进行finetune的还是在PI3的模型上finetune的?

[LongWayGuo]

能否透露一些finetune的细节呢? 比如 pose输入和 depth输入是分开finetune 还是一起的?
因为depth涉及到encoder的优化我担心模型太深导致较难收敛

如果我们想基于我们自己场景的rgbd数据对PI3X 进行finetune , 可以先去掉depth finetune完后, 再单独finetune depth的encoder吗?

[LongWayGuo]

另外关于 loss的权重,
我发现 目前是 point_loss * 1 + camera_loss * 0.1
而 camera_loss = trans_loss * 100 + rot_loss * 1
等同于 final_loss = point_loss * 1 + trans_loss * 10 + rot_loss * 0.1
而rot计算的是rad误差, 这样 旋转的loss权重是不是会太小了

[yyfz]

您好，其他模态都是一起一阶段训好的，这里重要是对depth encoder的初始以及学习率，用dinov2初始化好低一点学习率ft（比decoder那些学习率低十倍吧），loss权重我发现这样就可以了，不能改了，我之前简单调高了一下反而效果变差。
总的来说pi3x的训练我确实没有什么特殊设计，就是加上那些模态condition后简单训了一版，所以很多东西可能还得您自己试才知道，我的方案肯定不是最好的。

[LongWayGuo]

好的感谢大佬, 能否补充下标题的问题呢? PI3X 是在 vggt的权重上finetune的还是在 PI3的权重上finetune的?

[yyfz]

从Pi3开始训的。

[LongWayGuo]

你好, 请问PI3X 在训练中, 会混合有深度 和无深度的输入 来进行训练吗?
如果增加了有深度的输入训练, 是否会导致无深度输入的情况的恶化呢?

另外我看当前代码有使用 from models.dinov2.models.teacher_mv import TeacherMV 这个模型作为teacher模型,
但我没有在代码里找到对应模块, 这部分是参考的哪个模型呢?

[yyfz]

可以看看这里https://github.com/yyfz/Pi3/blob/training/pi3/models/pi3x_dirty_training/pi3x_training.py#L308-L311， 我们是随机drop的。
TeacherMV就是把pi3的decoder所有block改为PoseInjectBlock，这样可以支持输入相机参数，我先用带相机参数的数据单独训练了teachermv，然后加上了一些没相机参数的其他数据集。

[LongWayGuo]

@yyfz hi大佬感谢回复, 意思是 cam_decoder/point_decoder/conf_decoder都改成PoseInjectBlock 是吗? 需要带内参K吗?
我看这个模块也支持内参K输入, 但是当前的PI3X里面没有用到这个内参K而是改用了denseRay的token相加方式, 这两种有什么区别呢?