微调模型时的视频读取方式

[ChenJian7578]

图中绿色箭头处的视频读取方式还有别的实现吗，我发现在训练视频chat时，官方提供的方式会报错

[lll2343]

可以看#617, 用视频推理时使用的load_video函数

[ChenJian7578]

我可以理解为将上图中左边橙色框的值替换为右边橙色框的值吗

[lll2343]

Hi,

看Datasetset类，tsc_loader是一个封装类，从对象存储或者本地读取文件，可以直接调用里面的read_frames_decord方法，不要's3://'的部分（从对象存储读取文件），把petrel_client的部分都不要，就OK啦
read_frames_decord

返回的和直接从tcs_loader返回是一样的

def read_frames_decord(
        video_path, num_frames, sample='rand', fix_start=None,
        client=None, clip=None, min_num_frames=4
):
    # if 's3://' in video_path:
      #  video_bytes = client.get(video_path)
      #   video_reader = VideoReader(io.BytesIO(video_bytes), num_threads=1)
    else:
  # 用这个，
        video_reader = VideoReader(video_path, num_threads=1)
    vlen = len(video_reader)
    fps = video_reader.get_avg_fps()
    duration = vlen / float(fps)
    ....

[ChenJian7578]

谢谢，已经可以了，视频最大支持32帧是吗

[lll2343]

最大可以到64 frame