该研究聚焦于新型损失的形成，并基于已构建的生成器框架展示了其性能 。研究者证明时间对抗学习是获得照片级真实度和时间连贯细节的关键 。除了时空判别器以外，研究者还提出新型损失函数 Ping-Pong，该函数可以有效移除循环网络中的时间伪影，且不会降低视觉质量 。之前的研究并未解决量化视频超分辨率任务中时间连贯度的问题 。该研究提出了一组指标来评估准确率和随时间变化的视觉质量 。用户调研结果与这些指标判断的结果一致 。总之，该方法优于之前的研究，它能够得到更加细节化的图像，同时时间变化更加自然 。
模型方法
该研究提出的 VSR 架构包含三个组件：循环生成器、流估计网络和时空判别器 。生成器 G 基于低分辨率输入循环地生成高分辨率视频帧 。流估计网络 F 学习帧与帧之间的动态补偿，以帮助生成器和时空判别器 D_s,t 。
训练过程中，生成器和流估计器一起训练，以欺骗时空判别器 D_s,t 。该判别器是核心组件，因为它既考虑空间因素又考虑时间因素，并对存在不现实的时间不连贯性的结果进行惩罚 。这样，就需要 G 来生成与之前帧连续的高频细节 。训练完成后，D_s,t 的额外复杂度不会有什么影响，除非需要 G 和 F 的训练模型来推断新的超分辨率视频输出 。
图1
图 2
推荐阅读
- 视频有哪些格式的文件 三个常见的视频格式
- pdf转换成照片格式 同时打开多个pdf文件
- 抖音极速版视频收益怎么算 抖音极速版发布视频有收益吗
- 冰菜怎么种植方法 冰菜怎么种植视频
- iphone6p更换电池教程 iphone6p换电池教程视频
- ipad新手使用指南视频 苹果ipad新手使用指南
- 会声会影如何导出视频大小和手机一样 会声会影怎么调视频尺寸大小
- 电脑c盘可以格式化吗格式化步骤 电脑c盘格式化会怎么样
- wps怎么设置字体格式 wps怎样导入字体
- 相机的sd卡无法读取要格式化 相机SD卡无法格式化