Skip to content

关于微调问题,求教呀! #77

@1343464520

Description

@1343464520

作者,您好!

   关注您很久了,我现在想在红外场景数据集上做微调,之前直接Zero Shot在我的红外数据集上效果不是很理想(比如,细节乱生),我查看了下发现RAM模型识别出来的Tag错误较多,应该是它在红外图像上识别能力不够。另外我的红外图像lr分辨为256*192,希望做x2,x4,x8倍超分。
  
   我的问题是:
          1. 如果想要提升在红外图像上超分表现,是否需要首先对RAM模型做微调得到红外场景下识别表现(并获取图像的tag),接着以它为Teacher Model蒸馏得到DAPE模型,直接用于红外图像超分或者是否还需进一步对SD/ControlNet微调以提升整体超分效果?
          2. 如果需要微调训练RAM,需要将原始分辨率256x192输入图像(宽高比不是1:1)resize至384x384,效果是否影响较大?实际应用怎么克服不一致带来的影响?
          3. 目前,一共有2张4090卡,还有一张H800,根据上述问题1和2,您建议最小配置是怎样的?本人现有资源能否满足?

                                                                                                                                                                              期待您的回复!感谢!

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions