[Trendings] 연구 분야 관련 최신 소식 찾기

[sghong977]

급한거 정리되어서 올만에 ㄱㄱ

프로젝트와 관련있는 연구

Inpainting, 특히 비디오

1. Deep Learning-based Image and Video Inpainting: A Survey

• 드디어!!! VI를 다루는 서베이 페이퍼가 나왔다. VOS는 22? 23?년에 꽤 좋은 퀄리티의 서베이 article이 있었는데, VI에는 최신 서베이 논문 딱 하나, 그마저도 유료라서 참고할 수 있는게 없었다.
• 무려 3일 전에 아카이브에 떴다.
• 이미지도 다루고 있는데 분량 40페이지. 비디오 내용이 별로 많진 않을듯함

2. DINAR: Diffusion Inpainting of Neural Textures for One-Shot Human Avatars

• 2023/12/10 아카이브
• 이미지나 비디오로부터 사람 아바타 만드는거. 인페인팅이 들어가있어서 서치에 걸린듯

그 외에 이미지 분야는 diffusion nerf등이 판치고 있다.

VOS

의외로 메이저였나봄. 한달 사이에 새로운 논문이 많은데 그중에 multimodal을 쓰는 등 뭐가 많다.

1. LSVOS 챌린지 결과논문

• Youtube-VOS 2018 데이터셋 낸 곳에서, 올해에도 ICCV 2023에 챌린지를 열었다.
• 그런데 이번에는 fast motion, occlusion 등이 더 포함된, 상당히 어려워진 데이터셋을 새로 공개하면서 챌린지 task에 추가했다.
• https://youtube-vos.org/challenge/2023/
• 1st Place Solution for 5th LSVOS Challenge: Referring Video Object Segmentation
• 2024.01.01 arxiv

2. MUTR

• Referred by Multi-Modality: A Unified Temporal Transformer for Video Object Segmentation
• DETR 시리즈 뇌절이 이제 여기서도 이어지고 있다... 진짜 잘 될까?? 한번 구경하자
• 근데 이게 위에 LSVOS 챌린지 2023의 1위라고 한다. 봐야겠네요

3. M3T

• M3T: Multi-Scale Memory Matching for Video Object Segmentation and Tracking
• 뭐임 왜이렇게 요즘 VOS에서 DETR 스타일 좋아함??? 2022까지 XMem 원툴분야인줄 알았는데. 이전까지만 해도 연구계 분위기가 memory bank 얼마나 효율적으로 굴려서 spatiotemporal feature 잘 가공할지가 메인 이슈였는데.
• 이 분위기 대체 누가 시작했는지 알아보자...... 스타트 끊은 논문 누굴까

4. Learning Referring Video Object Segmentation from Weak Annotation

• weak annotation 활용. VOS가 학습할때는 fully-annotated data 쓰니까.

5. UniRef++: Segment Every Reference Object in Spatial and Temporal Spaces

• SAM에 숟가락 얹은 논문일지, SAM 활용하면서 뭔가 새로운게 꽤 있는 논문인지 검토해보는게 좋겠다
• open-world category 커버하니까 우리도 봐야함

Hot Papers

1. Online Saddle Point Problem and Online Convex-Concave Optimization
2. From Complexity to Clarity: Analytical Expressions of Deep Neural Network Weights via Clifford's Geometric Algebra and Convexity
3. Global Latent Neural Rendering
4. Targeted Activation Penalties Help CNNs Ignore Spurious Signals
5. A Challenger to GPT-4V? Early Explorations of Gemini in Visual Expertise

• 와 이건 진짜 안 눌러볼 수 없는 제목이다. 대체 누가 썼나 보니까 Tencent

6. Scalable Motion Style Transfer with Constrained Diffusion Generation

• backward diffusion에 condition으로 biased sampling 추가
• 기존 motion style transfer는 잘 모르는데, 원래 이랬던걸 해결한다고함
  • consistency loss에만 너무 의존
  • diffusion 써서 중간에 bridge 두는 형태로 각 도메인에 학습한걸 transfer 하는 구조도 있는데, 이런건 간단한 motion만 된다고 제약적이라함

Inspiring

1. Revisiting Nonlocal Self-Similarity from Continuous Representation

• Non-local self-similarity는 중요한데, on-meshgrid 형태인 video, image 등에는 잘 적용되는데 그 외에는 x
• 그래서 'continuous' representation 상에서 on, off meshgrid상에 모두 적용될 수 있는 방법을 제안하였음
• 다양한 분야에 적용했는데, application 중에서 inpainting이 서치 키워드로 걸려서 이 논문을 발견하게 된듯.
• 굉장히 수학적일거라 시간될때 보면 재밋을듯