作者 | Wangsy

编辑 | CV君

报道 | 报道 | 我爱计算机视觉公众号（id:aicvml）

分享一篇视频超分辨率的论文 Revisiting Temporal Modeling for Video Super-resolution，其为BMVC 2020 论文，该文的结果目前在视频超分的几个数据集上都是排名第一，代码已开源。


作者单位：清华大学、纽约大学、华为诺亚方舟实验室


本文提出了一种简洁而又高效的超分架构，在测试集上一帧只需45ms PSNR就可以达到27.69，具有很大的实用价值，亮点如下：

  • 以往已经提出了许多基于深度学习的视频超分辨率（video super-resolution，VSR）方法，但是由于使用不同的损失函数或训练集，因此很难直接比较这些方法。本文统一的研究和比较了三种时域建模方法：早期融合的2D CNN、慢融合的3D CNN和RNN。

  • 提出了一种新的残差循环网络（RRN），利用残差稳定RNN的训练，同时提高超分辨率性能，在三个基准测试集上均达到了SOTA。


2D CNN：采用了几个改进的2D残差块，每个块由3×3卷积层和ReLU组成。模型以2T+1个连续帧为输入，首先先在通道维度串联，然后通过一批残差块，输出shape大小为H×W×Cr^2^的残差特征图，通过depth-to-space上采样四倍得到残差图像R~t~^↑^，和双三次上采样的中心帧相加，得到HR图像。

3D CNN：与2D CNN不同的是，在3D CNN中，使用3×3×3的卷积层来提取时空信息。此外，为了防止帧数减少，我们在时间轴上增加两个像素值为零的帧。

RNN：时间步骤t处的输入有三部分：（1）先前的输出o~t−1~，（2）先前隐藏状态h~t−1~（3）两个相邻帧和。RNN可以利用上一层的互补信息，进一步细化第t时间步的高频纹理细节。

然而，RNN中存在梯度消失的问题。为了解决这一问题，本文提出了一种新的循环网络（RRN），它的内部采用残差块（一个卷积层、一个ReLU层和另一个卷积层组成）。这种设计保证了信息流的流畅性，并具有长时间保留文本信息的能力，使得RNN更容易处理较长的序列，同时减少了梯度消失的风险。

其中σ（·）为ReLU函数。，为要学习的残差图。


实施细节 RRN在时间时，先前的估计被初始化为零。三个模型均使用L1损失函数。使用Vimeo-90k作为训练集，对数据集进行BD降质以及crop为64×64的预处理。

量化评估与消融实验 作者考虑了两个网络深度不同的模型进行建模。S代表5个堆叠的模块，L则代表10个。下图可以看出不管是在运行时间、运算复杂度还是PSNR值上，RRN相比其他时域建模方法都具有显著的优势。

对是否为残差块和残差块的个数的消融实验，可以看出残差块能有效的抑制梯度消失。

与其他模型的对比，可以发现RRN都达到了STOA。

论文：https://arxiv.org/pdf/2008.05765.pdf

代码：https://github.com/junpan19/RRN