Video Streaming训练数据标注使用的抽帧率

[Rio-Allen]

作者您好！

请问在PAM-data/video-obj-caption/SAV_refined_streaming_sampled_32f_video_obj_cap_ch.jsonl中，视频帧是按照什么抽帧率来抽取的呢？

[AFeng-x]

你好，按照sav本身视频的帧率抽取每一帧后，再均匀记录32帧

[Rio-Allen]

您好，在如下的标注中，sav_000004.mp4总共有360帧，如果按照您说的32帧均匀抽帧的话，最多也就12帧，但是标注中frames字段对应列表中共有22帧。

{"type": "video", "image_root": "SA-V-dataset/sav_train_extract_frames/sav_000004", "frames": ["00000.jpg", "00001.jpg", "00002.jpg", "00003.jpg", "00004.jpg", "00005.jpg", "00006.jpg", "00007.jpg", "00008.jpg", "00009.jpg", "00010.jpg", "00011.jpg", "00012.jpg", "00013.jpg", "00014.jpg", "00015.jpg", "00016.jpg", "00017.jpg", "00018.jpg", "00019.jpg", "00020.jpg", "00021.jpg"], "masked_frames": ["00000.jpg", "00011.jpg", "00021.jpg"], "conversations": [{"from": "human", "value": "<image>\n对该视频中的目标对象提供一个描述。\n历史描述：无"}, {"from": "gpt", "value": "蓝色牛仔裤最初静止地穿在站立者身上，当人开始行走时，裤子会向前并略微向右移动。"}], "bbox": [[622, 639, 187, 331], [663, 617, 189, 326], [496, 604, 138, 268]], "points": [[[775, 831], [654, 692], [625, 700]], [[680, 883], [781, 839], [689, 722]], [[612, 684], [533, 696], [537, 581]]], "labels": [[1, 1, 0], [1, 1, 0], [1, 1, 0]], "pre_decode_ptrs": null, "obj_id": "2"}

[AFeng-x]

您好，抱歉我之前的解释有误：
（1）首先，您需要先按照有mask标注的帧（可能是每4帧抽取一次），按00000，00001这种序号保存下来
（2）一共均匀抽取32帧，而不是每32帧进行抽取
（3）如果不足32帧，则保留原始数量帧