Co-DETR 설계

[tyui592]

Co-DETR 설계 고려 사항 (two-stage)

1. Decoder Query 설계
   • Image에 Object가 있는데, ATSS 결과 Positive Anchor가 할당 되지 못한 경우 (threshold보다 큰 IoU의 anchor 가 없는 경우)
   • Image에 Object가 없는 경우
2. Attn. Masking (w/ DN query)
   • DN Query에 추가적으로 Encoder Query까지 추가 될 경우 Attn. mask도 수정해야함.
   • 예시 이미지
3. ATSS로 인한 가변 쿼리 개수
   • Encoder output과 GT 간의 ATSS 결과, output 중 positive anchor로 할당되는 것을 디코더 입력 쿼리로 사용.
   • 이때, positive anchor의 개수가 이미지마다 다름, 배치 연산을 위해서는 개수를 동일하게 맞춰야함.
   • 혹은, for loop로 여러번 iteration하면서 로스를 계산하는 방법도 있음.